Raisonnement activé ou non : Qwen gagne 32 points, les grands Gemma 7, les petits Gemma en perdent
Même fichier, mêmes consignes, un seul interrupteur. Sur 21 versions locales, activer le raisonnement rapporte en moyenne 32 points à la famille Qwen et 7 aux Gemma 4 de 12B et plus ; les petits Gemma E2B et E4B y perdent 3 points en moyenne. Qwen3.8 27B Q8_0 gagne 48 points, plus que tout autre modèle en français.
La plupart des modèles locaux peuvent tourner de deux façons : avec une phase de raisonnement avant la réponse, ou directement à la réponse. Cette phase coûte du temps et des tokens. Achète-t-elle une meilleure écriture ? Nous avons fait tourner 21 versions locales des deux façons sur les mêmes consignes en français et noté les deux versions dans les mêmes duels à l’aveugle. Chaque flèche ci-dessous part du score sans raisonnement et arrive au score avec.
Vingt et une versions, un interrupteur : la flèche pointe à droite pour quinze d’entre elles
Ce que change l’interrupteur de raisonnement
Score sans raisonnement (départ de la flèche) et avec (pointe de la flèche), 21 versions locales triées par gain.
- Qwen
- Gemma
- Raisonnement désactivé
- Raisonnement activé
Voir les données en tableau
| Modèle | Raisonnement désactivé | Raisonnement activé | Gain |
|---|---|---|---|
| Qwen3.8 27B Q8_0 | 28,5 | 76,1 | +47,6 |
| Qwen3.8 27B Q4_K_M | 32,9 | 76,6 | +43,7 |
| Qwen3.6 27B Q8_0 | 20,8 | 58,6 | +37,8 |
| Gemma 4 31B Q6_K | 39,9 | 65,5 | +25,6 |
| Qwen3.6 35B A3B Q4_K_M | 10,6 | 35,2 | +24,6 |
| Qwen3.6 35B A3B Q8_0 | 18,8 | 41,3 | +22,5 |
| Gemma 4 31B QAT-Q4_0 | 38,8 | 57,0 | +18,2 |
| Qwen3.8 27B Q6_K | 50,8 | 64,4 | +13,6 |
| Gemma 4 26B A4B QAT-Q4_0 | 47,5 | 56,0 | +8,5 |
| Gemma 4 31B Q8_0 | 42,2 | 49,9 | +7,7 |
| Gemma 4 12B Q8_0 | 41,1 | 48,5 | +7,4 |
| Gemma 4 12B QAT-Q4_0 | 46,0 | 52,2 | +6,2 |
| Gemma 4 E2B Q6_K | 10,4 | 14,7 | +4,3 |
| Gemma 4 E2B Q4_K_M | 6,5 | 7,7 | +1,2 |
| Gemma 4 26B A4B Q6_K | 49,7 | 50,3 | +0,6 |
| Gemma 4 E2B Q8_0 | 10,4 | 10,0 | −0,4 |
| Gemma 4 26B A4B Q8_0 | 57,5 | 56,4 | −1,1 |
| Gemma 4 E4B Q8_0 | 19,8 | 17,4 | −2,4 |
| Gemma 4 E4B Q4_K_M | 16,8 | 6,6 | −10,2 |
| Gemma 4 E4B Q6_K | 23,7 | 13,2 | −10,5 |
| Gemma 4 12B Q6_K | 38,3 | 27,5 | −10,8 |
Quinze versions gagnent, six perdent. Mais c’est la longueur des flèches qui raconte l’histoire : les Qwen gagnent 14 à 48 points, les grands Gemma 4 s’étalent de −11 à +26, les petits Gemma tournent autour de zéro ou en dessous.
Qwen gagne 32 points en moyenne, les grands Gemma 7, les petits Gemma en perdent 3
Ce que le raisonnement apporte, famille par famille
Gain de score moyen quand le raisonnement est activé, sur les versions de chaque famille.
Voir les données en tableau
| points | n | |
|---|---|---|
| Qwen 3.6 / 3.8 | +31,6 | 6 |
| Gemma 4, 12B et plus | +6,9 | 9 |
| Gemma 4 E2B / E4B | −3,0 | 6 |
Les familles se comportent si différemment qu’une moyenne globale cacherait tout. Qwen3.6 et Qwen3.8 gagnent 31,6 points en moyenne ; Gemma 4 de 12B et plus, 6,9 ; Gemma 4 E2B et E4B perdent 3,0, quatre versions sur six reculant.
Sans raisonnement, Qwen3.8 27B est un modèle faible ; avec, le meilleur modèle local en français
Qwen3.8 27B Q8_0 passe de 28,5 sans raisonnement à 76,1 avec, un gain de 48 points, le plus grand du tableau. Sa version Q4_K_M gagne 44 points et devient le meilleur modèle local de l’édition française. Quoi que ces modèles fassent pendant leur phase de raisonnement, leur prose française en dépend. Faire tourner un Qwen sans raisonnement, c’est classer un autre modèle, bien plus faible.
Gemma 4 12B et les petits Gemma perdent des points quand ils réfléchissent
À l’autre bout, Gemma 4 12B Q6_K perd 10,8 points avec le raisonnement, Gemma 4 E4B Q6_K 10,5 et E4B Q4_K_M 10,2. Gemma 4 31B gagne 8 à 26 points selon la version, ce qui vaut la peine ; Gemma 4 26B A4B oscille entre −1 et +9. Pour les petits Gemma, le raisonnement est du temps perdu, et parfois pire.
La même expérience en anglais, en allemand et en espagnol
Le schéma tient. Qwen gagne 26 à 33 points en moyenne dans chaque langue ; les grands Gemma 4 gagnent 5 à 10 ; les petits Gemma ne gagnent rien. Le français est la langue où le raisonnement fait le plus de dégâts chez Gemma : c’est ici que les pertes sont les plus nombreuses et les plus lourdes.
Conclusion
Le raisonnement n’est ni une amélioration gratuite ni un gadget : tout dépend de la famille. Qwen en a besoin ; sans lui, Qwen3.8 27B est un modèle du tiers inférieur, avec lui le meilleur modèle local en français. Les Gemma 4 de 12B et plus gagnent quelques points, les petits Gemma en perdent. Activez-le pour Qwen, laissez-le éteint pour Gemma E2B et E4B, et acceptez une génération deux à quatre fois plus lente quand il est actif.
