Les deux grands juges IA désignent le même vainqueur neuf fois sur dix. Les désaccords sont ailleurs
Claude Opus 5 et GPT-5.6 Sol, qui fournissent 85 % des verdicts, donnent raison au même modèle sur 93 % des 2 600 paires de modèles qu’ils ont jugées tous les deux. Claude Opus 4.8 ne les suit que deux fois sur trois, et sur les égalités personne n’est d’accord : GPT-5.6 Sol en déclare une pour mille duels, Claude Fable 5.1 une pour quinze.
Mise à jour du 1er octobre 2026. Cette analyse porte sur les données au 19 septembre 2026. Depuis le 23 septembre, Claude Opus 5.5 et GPT-6 Sol ont remplacé Claude Opus 5 et GPT-5.6 Sol ; Muse Spark 1.3 juge depuis le 8 septembre. Les chiffres ci-dessous concernent donc les juges de cette date, pour l’essentiel des juges désormais retirés dont les verdicts restent publiés.
Au 19 septembre, le classement combinait les verdicts de six juges IA. Cela n’a de sens que s’ils sont, la plupart du temps, d’accord. Le sont-ils ?
Nous l’avons mesuré comme le ferait un lecteur : pour chaque paire de modèles que deux juges ont vue au moins quatre fois chacun, les deux juges donnent-ils la majorité des points au même modèle ? Les paires qui finissent exactement à égalité chez l’un ou l’autre sont écartées. Édition française, données au 19 septembre 2026.
Claude Opus 5 et GPT-5.6 Sol sont d’accord sur 93 % de leurs 2 600 paires communes
À quelle fréquence deux juges désignent le même vainqueur
Part des paires de modèles communes où les deux juges donnent la majorité des points au même modèle. En petit : nombre de paires communes.
Voir les données en tableau
| Juges | % | paires |
|---|---|---|
| Claude Opus 5 × GPT-5.6 Sol | 92,8 % | 2 638 |
| Claude Opus 5 × Claude Fable 5.1 | 95,8 % | 71 |
| GPT-5.6 Sol × Claude Fable 5.1 | 83,3 % | 72 |
| Claude Opus 5 × Claude Fable 5 | 91,8 % | 49 |
| GPT-5.6 Sol × Claude Fable 5 | 90,2 % | 51 |
| Claude Opus 5 × Claude Opus 4.8 | 66,7 % | 24 |
| GPT-5.6 Sol × Claude Opus 4.8 | 71,4 % | 21 |
| Claude Opus 5 × Muse Spark 1.3 | 100,0 % | 33 |
| GPT-5.6 Sol × Muse Spark 1.3 | 94,4 % | 36 |
Les deux grands juges ont jugé 2 638 paires de modèles en commun. Ils donnent raison au même modèle dans 92,8 % des cas. En anglais, en allemand et en espagnol, le taux va de 89 à 93 %.
Deux juges venus d’entreprises différentes, entraînés sur des données différentes, qui rendent le même verdict sur plus de neuf paires sur dix : c’est la meilleure preuve dont dispose ce baromètre que son classement mesure quelque chose de réel dans l’écriture, et non le goût d’un seul modèle. La dixième paire est celle qui pose les questions intéressantes ; nous publierons ces désaccords sous forme de liste.
Claude Opus 4.8, le juge retiré, ne suit Claude Opus 5 et GPT-5.6 Sol que deux fois sur trois
Claude Opus 4.8, la génération précédente d’Opus, est d’accord avec Claude Opus 5 sur 67 % des paires communes et avec GPT-5.6 Sol sur 71 %. Ses verdicts ressemblent à un goût d’avant, et c’est pour cela qu’il est aujourd’hui retiré, avec une part minime du total. Ses 420 verdicts français restent dans le classement ; ils n’augmentent plus. Sur des échantillons de 21 et 24 paires, ces pourcentages sont des indications.
Claude Fable 5.1 est plus proche de Claude Opus 5 que de GPT-5.6 Sol
Sur les paires qu’il partage avec chacun, Claude Fable 5.1 est d’accord avec Claude Opus 5 dans 96 % des cas et avec GPT-5.6 Sol dans 83 %. Un air de famille entre deux juges Claude n’a rien d’étonnant, mais un baromètre qui combine leurs verdicts doit le garder à l’œil, et c’est ce que nous faisons. Muse Spark 1.3, lui, s’accorde avec les deux grands juges à 94 % et 100 %, sur 36 et 33 paires seulement.
Sur les égalités, les juges ne sont pas d’accord du tout : une pour mille chez GPT-5.6 Sol, une pour quinze chez Claude Fable 5.1
À quelle fréquence chaque juge déclare une égalité
Part des verdicts qui se terminent à égalité. En petit : verdicts rendus.
Voir les données en tableau
| Juge | % | verdicts |
|---|---|---|
| Muse Spark 1.3 | 6,9 % | 6 100 |
| Claude Fable 5.1 | 6,6 % | 1 851 |
| Claude Fable 5 | 5,4 % | 1 027 |
| Claude Opus 5 | 2,4 % | 28 983 |
| Claude Opus 4.8 | 0,5 % | 420 |
| GPT-5.6 Sol | 0,1 % | 26 503 |
GPT-5.6 Sol désigne presque toujours un vainqueur : 0,1 % de ses verdicts français sont des égalités. Claude Fable 5.1 en déclare pour 6,6 % de ses duels, Muse Spark 1.3 pour 6,9 %. Aucun des deux comportements n’est faux. L’égalité est une réponse légitime quand deux textes se valent, ce qui arrive souvent entre modèles de tête. Mais une « victoire » chez Sol est une affirmation plus faible qu’une « victoire » chez Fable 5.1.
Les juges ne donnent aucune note : ils choisissent un texte ou déclarent une égalité. Le classement principal repose donc sur un ajustement de Bradley–Terry sur ces verdicts, où une égalité vaut une demi-victoire pour chaque camp. Le taux d’égalité d’un juge change alors le poids de chacun de ses verdicts, pas leur direction.
Ce que nous en ferons
Trois choses. La liste des paires sur lesquelles les deux grands juges se contredisent sera publiée. Un échantillon contrôlé, les mêmes paires jugées par tous les juges, est en construction pour que les taux d’accord reposent sur des duels identiques. Et les tableaux par juge restent sur la page des résultats, pour que quiconque fait davantage confiance à un juge puisse lire le classement que ce juge produirait seul.
Conclusion
Deux juges conçus par des entreprises différentes rendent le même verdict sur neuf paires de modèles sur dix. C’est la meilleure preuve dont dispose ce baromètre que son classement mesure l’écriture et non le goût d’un seul modèle. La dixième paire, le goût plus ancien du juge retiré et les taux d’égalité très différents sont précisément ce que l’ajustement de Bradley–Terry est là pour absorber.
