OpenAI dissout son équipe chargée de lutter contre les risques liés à l’IA

L’équipe Superalignment d’OpenAI, chargée de contrôler le danger existentiel d’un système d’IA « surhumain », aurait été dissoute. Cette nouvelle, rapportée par Wired, intervient alors que deux des fondateurs de l’équipe ont récemment quitté l’entreprise.

Si l’IA peut se révéler particulièrement utile au quotidien, celle-ci n’est pas sans dangers. Même Elon Musk, pourtant féru de technologies avant-gardistes, nous a mis en garde contre les dangers découlant d’une telle technologie. OpenAI, à qui l’on doit le célèbre ChatGPT, étudie par ailleurs les risques de catastrophes nucléaires engendrées par l’IA. Mais cela n’empêche pas l’entreprise d’anticiper l’arrivée d’une IA « surhumaine », qui pourrait bientôt voir le jour.

Dans ce contexte, OpenAI a mis en place Superalignment, une équipe précisément chargée de mener des recherches sur les risques existentiels de cette future IA. Mais celle-ci aurait été dissoute, un ancien scientifique en chef d’OpenAI ayant affirmé qu’il avait eu du mal à obtenir des ressources pour mener à bien ces recherches.

OpenAI : GPT-5 sera-t-elle une IA « surhumaine » ?

Cette initiative est sans doute liée au départ des deux fondateurs de l’équipe, Ilya Sutskever et Jan Leike. Ce dernier affirme s’être longtemps battu avec la direction d’OpenAI au sujet des valeurs fondamentales liées à l’IA, avant d’atteindre un point de rupture la semaine dernière. Le responsable estime d’ailleurs que l’équipe Superalignment a « navigué contre le vent ».

Lors de sa création en juillet 2023, l’équipe de Superalignment a fait une déclaration pour le moins inquiétante. En effet, celle-ci estime que l’IA « surhumaine » ne pourrait pas être contrôlée… par des humains. L’équipe affirmait alors : « Actuellement, nous n’avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente, et l’empêcher de devenir rebelle. Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d’IA beaucoup plus intelligents que nous, et nos techniques d’alignement actuelles ne seront donc pas adaptées à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

On ne sait pas si la prochaine IA d’OpenAI, GPT-5, qui pourrait faire son apparition au cours de l’été 2024, prendra la forme d’une IA « surhumaine » ou « superintelligente ». Quoi qu’il en soit, certains employés de l’entreprise ont comparé GPT-5 à Dieu.

Source : gizmodo