La surprise a été totale en voyant la dernière publication du Chatbot Arena. Ce dernier a pour vocation de classer les plus grands modèles de langage IA de manière objective. Ainsi, le top « one » revient à Gemini qui dépasse de peu le fameux ChaptGPT-4o. Cela étant dit, voici les 10 modèles qui font le buzz en ce moment.
Créée par la LMSYS (Large Model Systems Organization), la Chatbot Arena est en quelque sorte une liste des meilleurs modèles IA du moment. Toujours à jour, ce classement permet de voir en temps réel les performances des modèles d’IA générative afin de se faire une idée sur lequel est le meilleur. Contrairement à ce que bon nombre de personnes le pensent, le classement a évolué et désormais ce n’est plus ChatGPT-4o qui est en tête. Pour l’année 2024 et notamment le mois de novembre 2024, le classement est largement dominé par deux grands constructeurs de LLM à savoir : Google et OpenAI.
Google détrône OpenAI dans la Chatbot Arena
Dans le secteur très concurrentiel de l’intelligence artificielle, la majorité des connaisseurs et des experts peinent à croire que Google arrivera un jour à surpasser OpenAI. Déjà que depuis le lancement de ChatGPT-4o, le succès a été total pour l’entreprise. Malgré cela, Google est parvenu à se hisser au top du podium de la Chatbot Arena et a créé la surprise générale – puisque cela ne s’était jamais produit depuis la création du classement
Ainsi, Gemini-Exp-1121 est à la première place suivie de très près par ChatGPT-4o. La sortie du classement a fait grand bruit également d’une autre manière car jusqu’à présent, seul Claude avait l’habitude d’être le concurrent direct de ChatGPT-4o. C’est en mars 2024 que Gemini-Exp-1121 a été lancé. Pour réussir à gagner le titre de meilleur modèle IA du moment, ce dernier intègre quelques améliorations en termes de codage, de vision et de raisonnement.
Bien que Gemini-Exp-1121 soit conçu pour exceller dans des tâches complexes, il demeure parfaitement capable de répondre à des questions plus simples et pratiques, telles que le calcul de salaire en portage salarial ou d’autres problématiques courantes.
À la troisième place, c’est encore Google avec Gemini-Exp-1114. Le reste du classement se présente comme suit :
4 – o1-preview ;
5 – o1-mini ;
6 – Gemini-1.5-Pro-002 ;
7 – Grok-2-08-13 ;
8 – Yi-Lightning ;
9 – GPT-4o-2024-05-13 ;
10 – Claude 3.5 Sonnet (20241022).
Un classement impartial grâce à la méthode Elo
Tout comme le calcul de salaire portage salarial, la méthode d’évaluation utilisée par la Chatbot Arena se base sur des critères objectifs et précis.
Pour déterminer qui sont les meilleurs modèles IA du moment, ce sont les utilisateurs qui décident. Les créateurs du classement invitent simplement les utilisateurs à choisir celui qui donne les réponses les plus pertinentes en utilisant le score « Elo ». Ce procédé garantit un classement impartial, où chaque modèle gagne ou perd des points en fonction de ses performances face à un concurrent direct.
D’ailleurs, ce système de confrontation duale entre deux modèles s’utilise aussi en e-sport et aux échecs. Concrètement, lorsqu’un modèle IA surpasse un autre modèle avec un score Elo élevé, il cumule des points. À l’inverse, quand ce même modèle est dépassé par un concurrent avec un score moins élevé, il perd des points. Avec cette approche, Google a – selon les utilisateurs – réussi à surpasser OpenAI. Pour l’expert français de l’IA « Mistral », la route est encore longue pour rattraper Google, OpenAI et même xAI – malgré les mises à jour de son modèle « Le Chat ».
