GPT-4o : le dernier modèle d’IA d’OpenAI serait moins performant que ses prédécesseurs

Un nouveau rapport d’Artificial Analysis établit les performances de la dernière version de GPT-4o. Et, selon ce dernier, celui-ci afficherait des performances réduites par rapport à des modèles de langage plus anciens.

Le succès mondial rencontré par ChatGPT aura incité OpenAI à proposer toujours plus de nouveaux modèles d’IA. L’entreprise de Sam Altman a depuis lancé GPT-4, que les policiers américains commencent à utiliser afin de rédiger leurs rapports. OpenAI a ensuite dévoilé GPT-4o, une version particulièrement poussée de son IA, qui devrait être suivie par GPT-5, une IA qui serait aussi intelligente qu’un doctorant. Et pourtant, il semblerait que les dernières versions de GPT-4o soient moins performantes que ses prédécesseurs.

C’est en tout cas ce que suggère une nouvelle analyse publiée par Artificial Analysis. Celle-ci a été mise en ligne moins de 24h après qu’OpenAI ait publié une mise à jour pour GPT-4o, qui, pourtant, est censée améliorer les performances du chatbot.

OpenAI affirme que les performances de GPT-4o ont bien été améliorées

Le rapport affirme ainsi : « Nous avons terminé nos évaluations indépendantes sur la version GPT-4o d’OpenAI hier et nous mesurons systématiquement des scores d’évaluation matériellement inférieurs à ceux de la version d’août de GPT-4o. »Il est d’ailleurs important de noter que les performances de GPT-4o sur le benchmark GPQA Diamond ont baissé de 51 % à 39 %, tandis que ses benchmarks MATH ont baissé de 78 % à 69 %.

« Sur la base de ces données, nous concluons qu’il est probable que le modèle GPT-4o d’OpenAI du 20 novembre soit plus petit que celui du mois d’août », précise le rapport. « Étant donné qu’OpenAI n’a pas réduit les prix de la version du 20 novembre, nous recommandons aux développeurs de ne pas abandonner les charges de travail de la version du mois d’août sans procéder à des tests approfondis. »

À lire > OpenAI dévoile GPT-o1, une IA encore plus puissante que GPT-4o

Ces observations vont pourtant à l’encontre des déclarations d’OpenAI, qui affirme que les performances de GPT-4o ont été sensiblement améliorées. Le créateur de ChatGPT déclare ainsi : « La capacité d’écriture créative du modèle s’est améliorée – une écriture plus naturelle, engageante et personnalisée pour améliorer la pertinence et la lisibilité. Il travaille également mieux avec les fichiers téléchargés, fournissant des informations plus approfondies et des réponses plus complètes. »

Source : digitaltrends