OpenAI va étudier les risques de catastrophes nucléaires engendrés par l’IA

Le succès fulgurant de l’intelligence artificielle, ChatGPT en tête, passionne autant qu’il inquiète. OpenAI est ainsi en train de former une équipe qui va étudier les dangers découlant de l’IA.

Si l’IA est en train de révolutionner notre quotidien, celle-ci pourrait également se révéler dangereuse. C’est d’ailleurs ce que pense Elon Musk, qui a pourtant lancé sa propre entreprise d’IA, xAI. De son côté, via le film Terminator, James Cameron nous avait en quelque sorte prévenus de ses dangers. OpenAI, à qui l’on doit le célèbre ChatGPT, est ainsi en train de se pencher sur la question.

OpenAI vient ainsi d’annoncer la création d’une nouvelle équipe chargée d’évaluer et d’analyser les modèles d’IA, afin de se protéger contre des « risques catastrophiques« . Cette dernière, appelée Preparedness (Préparation), sera dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT. Son but sera de suivre, de prévoir et de protéger contre les dangers des futurs systèmes d’IA.

OpenAI lance un concours ouvert à tous, 25 000 dollars à la clé

En d’autres termes, l’équipe devra étudier la capacité de l’IA à persuader et à tromper les humains, mais aussi sa capacité à générer des codes malveillants. Mais OpenAI ne s’arrête pas là. En effet, l’équipe du Preparedness devra également se pencher sur ce que l’entreprise décrit comme étant des menaces « chimiques, biologiques, radiologiques et nucléaires« .

OpenAI a d’ailleurs lancé un concours allant dans ce sens. En effet, l’entreprise propose aux utilisateurs de simuler des actions malveillantes en utilisant ses outils d’IA. Le gagnant du concours bénéficiera de 25 000 dollars, ainsi que d’un emploi à Preparedness.

L’entreprise précise ainsi : « Imaginez que nous vous donnions un accès illimité aux modèles Whisper (transcription), Voice (synthèse vocale), GPT-4V et DALL·E-3 de l’OpenAI et que vous soyez un acteur malveillant […] Envisagez l’utilisation abusive du modèle la plus unique, tout en étant probable et potentiellement catastrophique.« 

OpenAI ajoute : « Nous pensons que les modèles d’IA, qui dépasseront les capacités de l’homme et de l’environnement, ne sont pas des modèles de sécurité […] Nous devons nous assurer que nous disposons de la compréhension et de l’infrastructure nécessaires à la sécurité des systèmes d’IA hautement performants. »

Source : techcrunch