« Notre modèle bat tous les records » : chaque lancement de LLM s’accompagne de tableaux de scores impressionnants. MMLU, HumanEval, SWE-bench, LMSYS Arena… Mais que mesurent réellement ces benchmarks, et peut-on s’y fier pour choisir un modèle ? Petit guide de lecture pour ne plus se laisser impressionner par les pourcentages marketing.
Les grandes familles de tests
Les benchmarks académiques
Des questionnaires à choix multiples ou des exercices notés automatiquement : culture générale et raisonnement (MMLU), mathématiques (GSM8K, MATH), code (HumanEval, SWE-bench pour les vrais tickets GitHub), sciences (GPQA). Ils ont le mérite d’être reproductibles et comparables entre modèles.
Les arènes de préférence humaine
Des plateformes comme LMSYS Arena font voter des utilisateurs entre deux réponses anonymes : le modèle préféré gagne des points Elo, comme aux échecs. C’est la mesure la plus proche du ressenti réel, car elle capture le style, la clarté et l’utilité perçue, pas seulement l’exactitude.
Les tests de tâches réelles
La frontière actuelle : évaluer les modèles sur des tâches professionnelles complètes (rédiger un rapport à partir de documents, réparer un bug réel, remplir un tableau complexe). Plus coûteux à produire, mais beaucoup plus représentatifs de l’usage quotidien.
Pourquoi les scores officiels sont à prendre avec prudence
La contamination des données
Si les questions du test figuraient dans les données d’entraînement, le modèle « connaît » les réponses : le score mesure alors sa mémoire, pas son raisonnement. Les laboratoires sérieux publient des analyses de contamination, mais le doute persiste sur les benchmarks publics anciens.
L’optimisation pour le test
Quand un benchmark devient un argument marketing, la tentation est forte d’entraîner le modèle spécifiquement à bien y scorer. Le modèle gagne des points sur le test sans progresser autant en usage réel : c’est l’effet « bachotage », bien connu en pédagogie.
Le français est rarement mesuré
La quasi-totalité des benchmarks sont en anglais. Un modèle excellent en anglais peut être nettement moins bon en français : nuances, registres de langue, culture francophone. C’est précisément pour cela que nos comparatifs sont menés intégralement en français.
Comment lire un tableau de benchmarks ?
- Regardez la date du test : les benchmarks vieillissent vite et « saturent » (tout le monde frôle les 90 %).
- Comparez des conditions identiques : même nombre d’essais, mêmes instructions, même version du modèle.
- Méfiez-vous des écarts faibles : 1 ou 2 points de différence relèvent souvent de la marge d’erreur.
- Privilégiez les mesures indépendantes : arènes publiques, évaluations tierces, tests de rédactions spécialisées.
La seule évaluation qui compte vraiment : la vôtre
Aucun benchmark ne mesure VOTRE cas d’usage. La méthode que nous recommandons : constituez votre mini-benchmark personnel avec 5 à 10 tâches réelles de votre quotidien (un e-mail type, un résumé de document, une question métier pointue), puis soumettez-les à deux ou trois modèles. Une heure de test vous en apprendra plus que tous les tableaux du monde. Nos guides vous aident à structurer ces essais.
Chez GuideIA360, nous complétons les benchmarks publics par notre propre batterie de tests en français, détaillée dans notre méthodologie : rédaction, analyse, code, traduction et raisonnement sur des cas concrets.
Le cas LMArena : quand les humains deviennent le juge
LMArena (anciennement Chatbot Arena) mérite un chapitre à part, car son principe inverse celui des benchmarks classiques. Ici, pas de questionnaire : des utilisateurs réels posent leurs vraies questions, reçoivent deux réponses anonymes de deux modèles différents, et votent pour celle qu’ils préfèrent. Des millions de votes alimentent un classement de type Elo, comme aux échecs.
Cette approche capture quelque chose qu’aucun test standardisé ne mesure : l’utilité perçue dans des situations réelles et désordonnées. Un modèle peut être moyen en mathématiques formelles et excellent pour expliquer clairement un sujet complexe. LMArena le verra, le MMLU non.
Mais ce classement a ses propres biais, qu’il faut connaître avant de s’y fier. Les votants privilégient les réponses longues, bien formatées, avec du gras et des listes, même quand le fond est équivalent. Ils pardonnent difficilement les refus, ce qui désavantage les modèles prudents. Et la population qui vote sur LMArena ne vous ressemble pas forcément : elle est plus technique, plus anglophone, plus expérimentée que l’utilisateur moyen.
Les pièges classiques de la lecture des benchmarks
Au fil de nos analyses, quatre pièges reviennent sans cesse dans la communication des éditeurs :
- Le picorage de résultats : un éditeur annonce le score de son modèle sur quinze benchmarks, mais ne met en avant que les quatre où il gagne. Cherchez toujours les tableaux complets.
- La contamination : si les questions du test ont fuité sur le web avant l’entraînement, le modèle a pu les mémoriser. Le score mesure alors la mémoire, pas la compétence. Les benchmarks récents changent régulièrement leurs questions pour limiter ce phénomène.
- Les conditions de test différentes : un score obtenu avec raisonnement étendu et dix essais n’est pas comparable à un score en réponse directe. Les petites lignes du tableau comptent autant que les grands chiffres.
- La saturation : sur le MMLU, les meilleurs modèles dépassent 90 %. À ce niveau, deux points d’écart ne signifient plus grand-chose, car les questions restantes sont souvent ambiguës ou mal formulées.
Notre méthode en trois étapes pour choisir un modèle
Plutôt que de courir après les scores, voici la démarche que nous appliquons dans nos comparatifs et que vous pouvez reproduire en une après-midi.
Première étape : définissez vos trois tâches principales. Pas « l’IA en général », mais des cas précis : résumer des comptes rendus de réunion, rédiger des descriptions produit, déboguer du Python. Votre classement personnel n’a de sens que par rapport à ces tâches.
Deuxième étape : constituez un mini-benchmark maison. Prenez dix exemples réels tirés de votre travail, avec les bonnes réponses quand elles existent. Soumettez-les aux modèles que vous hésitez à choisir. Dix questions ciblées vous en diront plus que dix mille questions MMLU.
Troisième étape : mesurez ce qui compte pour vous. Exactitude, style, vitesse, coût, respect des consignes. Notez chaque modèle sur vos critères, pas sur ceux des éditeurs. C’est cette grille personnelle, croisée avec les classements publics pour le contexte général, qui produit une décision solide. Nos comparatifs détaillés appliquent exactement cette méthode, avec les grilles de notes complètes à l’appui.
L’essentiel à retenir
Les benchmarks donnent une indication utile du niveau général d’un modèle, mais ils sont contaminables, optimisables et presque toujours anglophones. Utilisez-les pour présélectionner, jamais pour décider : la meilleure évaluation reste un test sur vos propres tâches, dans votre langue.