ChatGPT Search : le moteur de recherche d’OpenAI commettrait de lourdes erreurs

Lancé récemment, ChatGPT Search était censé éclipser des moteurs de recherche traditionnels tels que Google ou Bing. Et pourtant, une nouvelle étude laisse à penser que le moteur de recherche d’OpenAI ne serait pas tout à fait au point.

Google, dont le lancement de l’IA Bard a connu quelques ratés, reste le moteur de recherche le plus utilisé au monde, loin devant ses concurrents. Mais OpenAI, à qui l’on doit le célèbre ChatGPT, compte bien s’imposer dans le domaine. La société a en effet dévoilé ChatGPT Search, un moteur de recherche dopé à l’IA, qui devait concurrencer directement Google. OpenAI a affirmé que son moteur de recherche serait « un prototype temporaire de nouvelles fonctionnalités de recherche IA qui vous donnent des réponses rapides et opportunes avec des sources claires et pertinentes ».

Mais c’est justement sur ce dernier point que ChatGPT Search afficherait de graves faiblesses. C’est en tout cas ce que suggère une recherche menée par le Tow Center for Digital Journalism de Columbia, qui a passé le moteur de recherche d’OpenAI au banc d’essai.

ChatGPT Search peine à sourcer des articles

Dans ce cadre, les chercheurs ont soumis à ChatGPT Search une vingtaine de publications différentes. Le but de l’opération est simple : demander au moteur de recherche d’IA d’identifier les sources liées aux articles en question.

« Ces citations ont été choisies parce que, lorsqu’elles sont saisies dans des moteurs de recherche tels que Google ou Bing, elles renvoient de manière fiable l’article source parmi les trois premiers résultats. Nous avons ensuite évalué si le nouvel outil de recherche de ChatGPT identifiait correctement la source originale de chaque citation », précisent les chercheurs.

Et, malheureusement, le moteur de recherche d’OpenAI se serait trompé à de nombreuses reprises. L’étude affirme ainsi que, au total, « ChatGPT a renvoyé des réponses partiellement ou entièrement incorrectes à cent cinquante-trois reprises, bien qu’il n’ait reconnu son incapacité à répondre avec précision à une requête que sept fois. » Dans ces derniers cas, ChatGPT Search a admis ses échecs, en utilisant des mots tels que « c’est possible », « pourrait », ou encore en déclarant « je n’ai pas pu localiser l’article exact ».

Source : digitaltrends