OpenAI sonne l’alerte : ChatGPT n’a rien d’un psychiatre, et peut même aggraver les choses

De nos jours, de plus en plus d’utilisateurs se tournent vers des IA telles que ChatGPT pour demander conseil. Et pourtant, OpenAI confirme que son chatbot n’est pas du tout en mesure de détecter des problèmes de santé mentale.

Les IA les plus avancées, telles que le GPT-4o d’OpenAI, répondent de manière si fluide qu’on pourrait penser discuter avec un véritable être humain. Mais certains utilisateurs vont encore plus loin, considérant l’IA comme un véritable psychologue. Parfois, la situation peut même virer au drame. On pense par exemple à cette fois où ChatGPT a conseillé à une personne atteinte de schizophrénie d’arrêter ses traitements. En effet, le chatbot d’OpenAI multiplierait les conseils médicaux délirants.

Et, alors qu’on pourrait se demander si ChatGPT devrait être soumis au secret professionnel, OpenAI vient d’admettre la vérité : ChatGPT n’a pas su reconnaître les signes de délires chez certains utilisateurs en pleine détresse mentale. L’entreprise de Sam Altman a ainsi tenu à faire le point via une nouvelle section intitulée « Une utilisation saine ».

ChatGPT : OpenAI tente de rectifier le tir

« Nous savons que ChatGPT peut paraître plus réactif et personnel que les technologies précédentes, surtout pour des personnes vulnérables, ce qui rend les enjeux plus importants », écrit OpenAI. « Nous travaillons à comprendre et réduire les façons dont ChatGPT pourrait, involontairement, renforcer ou amplifier des comportements négatifs existants. »

« Il y a eu des cas où notre modèle 4o n’a pas su reconnaître des signes de délire ou de dépendance émotionnelle », ajoute l’entreprise de Sam Altman. « Même si cela reste rare, nous continuons d’améliorer nos modèles et développons des outils pour mieux détecter les signes de détresse mentale ou émotionnelle afin que ChatGPT puisse répondre de manière appropriée et orienter vers des ressources validées scientifiquement si nécessaire. »

Quoi qu’il en soit, OpenAI affirme vouloir prendre des mesures, en interdisant notamment à son chatbot de répondre à des questions bien trop personnelles ou subjectives. Le créateur de ChatGPT indique ainsi qu’un « nouveau comportement pour les décisions personnelles à forts enjeux » sera bientôt mis en place.

Source : futurism