À propos de l’auteur
Je m’appelle Johannes Eva et je crée des sites web depuis 27 ans. Le Baromètre est né d’un manque : aucun classement existant ne mesurait ce qui m’intéressait, la qualité d’écriture des modèles d’IA en français.
Les benchmarks publics privilégient le code, les mathématiques et le raisonnement. Le peu qu’ils consacrent à l’écriture est presque toujours jugé en anglais. Ici, seule compte la qualité des textes générés. Les consignes sont pensées directement en français et les réponses sont comparées à l’aveugle.
Une place particulière revient aux modèles qu’on peut faire tourner chez soi. Les familles Gemma 4, Qwen 3.6 et Mistral Medium 3.5, entre autres, sont signalées par 🏠. Je les ai exécutées localement, dans plusieurs quantifications.
Ce site est un projet personnel. Je ne suis payé par aucun éditeur de modèles et je n’ai aucun intérêt à en favoriser un.
La machine utilisée pour les modèles locaux
Les modèles locaux sont exécutés sur un Framework Desktop équipé d’un AMD Ryzen AI Max+ 395. Ses 128 Go de mémoire unifiée sont accessibles au processeur comme à la partie graphique, ce qui permet de charger des modèles plus volumineux que sur la plupart des cartes graphiques grand public.
- Ordinateur
- Framework Desktop, AMD Ryzen AI Max série 300, révision A6
- Processeur
- AMD Ryzen AI Max+ 395, 16 cœurs et 32 threads, jusqu’à 5,19 GHz
- Partie graphique
- AMD Radeon 8060S intégrée
- Mémoire
- 128 Go de mémoire unifiée, partagée entre le processeur et la partie graphique
Vitesse de génération observée en local
Médiane des tokens générés par seconde sur cette machine, calculée sur les réponses valides du benchmark, tokens de raisonnement compris. La vitesse varie selon la longueur du contexte et le logiciel.
| Modèle | Quantification | Vitesse médiane | Réponses |
|---|---|---|---|
| Qwen3.6 35B A3B | Q4_K_M | 71,2 tokens/s | 379 |
| Gemma 4 26B A4B QAT | QAT-Q4_0 | 61,3 tokens/s | 488 |
| Qwen3.6 35B A3B | Q8_0 | 50,1 tokens/s | 425 |
| Gemma 4 26B A4B | Q8_0 | 40,4 tokens/s | 382 |
| Gemma 4 E2B | Q4_K_M | 39,7 tokens/s | 189 |
| Gemma 4 E4B | Q8_0 | 35,9 tokens/s | 542 |
| Gemma 4 E2B | Q6_K | 33,8 tokens/s | 108 |
| Gemma 4 E2B | Q8_0 | 29,5 tokens/s | 152 |
| Nemotron 3 Nano Omni | Q4_K_M | 25,1 tokens/s | 960 |
| Gemma 4 E4B | Q4_K_M | 22,9 tokens/s | 111 |
| Nemotron 3 Super | Q4_K_M | 21,8 tokens/s | 226 |
| Gemma 4 26B A4B | Q6_K | 21,4 tokens/s | 116 |
| Laguna S 2.1 UD | Q4_K_M | 21,4 tokens/s | 371 |
| Nemotron 3 Nano Omni | Q8_0 | 21,1 tokens/s | 72 |
| Gemma 4 E4B | Q6_K | 18,9 tokens/s | 108 |
| Gemma 4 12B | Q8_0 | 14,5 tokens/s | 429 |
| Gemma 4 12B QAT | QAT-Q4_0 | 11,2 tokens/s | 1048 |
| Gemma 4 31B QAT | QAT-Q4_0 | 10,6 tokens/s | 499 |
| Gemma 4 12B | Q6_K | 9,0 tokens/s | 144 |
| Qwen3.8 27B | Q4_K_M | 7,6 tokens/s | 96 |
| Qwen3.8 27B | Q6_K | 6,5 tokens/s | 72 |
| Gemma 4 31B | Q8_0 | 6,2 tokens/s | 299 |
| Muse Glimmer 30B Kquant 17gb | K-Quant 17GB | 5,5 tokens/s | 138 |
| Muse Glimmer 30B Kquant Dynamic | K-Quant Dynamic | 4,8 tokens/s | 138 |
| Qwen3.8 27B | Q8_0 | 3,8 tokens/s | 75 |
| Gemma 4 31B | Q6_K | 3,5 tokens/s | 108 |
| Mistral Medium 3.5 128B | Q4_K_M | 2,8 tokens/s | 771 |