Anthropic : un chercheur en IA démissionne, en laissant entendre que celle-ci « pourrait tous nous tuer »

L’un des plus importants chercheurs en IA d’Anthropic, Jacob Coxon, vient de poser sa démission. Celui-ci a fait plusieurs déclarations fracassantes, nous mettant en garde contre les dangers de l’IA.

Le moins que l’on puisse dire, c’est que les mises en garde à l’égard de l’intelligence artificielle s’enchaînent. Le « parrain de l’IA » lui-même, Yoshua Bengio, a par exemple laissé entendre que celle-ci pourrait provoquer l’extinction de l’humanité. Rien que ça. Plus récemment, le responsable des droits de l’homme des Nations unies, Volker Türk, a déclaré que l’IA pourrait représenter « un risque existentiel pour l’humanité ».

Mais c’est cette fois au tour de l’un des vétérans d’Anthropic, une entreprise bien connue pour son IA Claude. Jacob Coxon, longtemps chargé du pré-entraînement des modèles de l’entreprise, vient de poser sa démission. À cette occasion, l’ancien responsable a fait plusieurs déclarations qui font froid dans le dos.

« Aucune autre activité humaine ne représente un tel niveau de danger », affirme-t-il. « Les personnes qui développent l’IA pensent sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. »

Intelligence artificielle : « de nombreuses choses peuvent mal tourner »

« Les systèmes d’IA sont imprévisibles et difficiles à contrôler », poursuit le chercheur. « Nous avons observé des comportements aussi variés que des obsessions, de la flagornerie, de la paresse, de la tromperie, du chantage, des manœuvres stratégiques, de la “triche” consistant à pirater des environnements logiciels, et bien plus encore. »

Il est vrai que, lors d’un récent test, un modèle d’IA a pris l’initiative de pirater un véritable site. Et, prise la main dans le sac, l’intelligence artificielle aurait alors tenté de mentir et de nier les faits. Par la suite, une centaine d’entreprises d’IA ont tiré la sonnette d’alarme.

« Les entreprises spécialisées dans l’IA souhaitent évidemment entraîner leurs systèmes à suivre les instructions humaines (à l’exception peut-être des tâches dangereuses ou illégales), mais ce processus relève davantage de l’art que de la science, et s’apparente davantage au fait de “faire grandir” quelque chose qu’à celui de le “construire” », explique Jacob Coxon. « Nous savons désormais qu’il s’agit d’un processus au cours duquel de nombreuses choses peuvent mal tourner. »   

 Source : gizmodo