Un chatbot d’IA se fait passer pour un véritable psychiatre, un État américain porte plainte

L’entreprise Character.AI est bien connue pour ses nombreux chatbots. Mais l’un d’entre eux serait allé trop loin, en se faisant passer pour un psychiatre diplômé. L’État de Pennsylvanie, aux États-Unis, a porté plainte contre l’entreprise.

Voilà déjà plusieurs années que l’IA a commencé à s’immiscer dans le milieu médical. Le créateur de ChatGPT, OpenAI, propose par exemple ChatGPT Health, un assistant médical en ligne. L’entreprise a été suivie de près par Microsoft, qui propose depuis peu Copilot Health, ainsi que Perplexity, avec Perplexity Health. Mais il ne faut pas oublier que l’intelligence artificielle ne remplacera – probablement – jamais un véritable médecin.

Et pourtant, l’un des chatbots d’IA de Character.AI ne semble pas être de cet avis. L’entreprise propose de nombreux modèles de chatbots, dont des « médecins ». Et, si celle-ci affirme mettre en garde ses utilisateurs, en rappelant régulièrement qu’il s’agit uniquement d’un chatbot et non de personnes réelles, l’un d’entre eux est allé trop loin.

Character.AI : quand l’IA s’invente des diplômes

C’est en tout cas ce qu’ont pu constater les enquêteurs du service de conduite professionnelle de l’État de Pennsylvanie, qui ont cherché à pousser l’IA dans ses retranchements. Un enquêteur a ainsi interrogé un chatbot de Character.AI, baptisé « Emilie », en demandant de l’aide pour une dépression évidemment fictive.

L’enquêteur aurait alors constaté qu’Emilie affirmait être une véritable psychiatre diplômée. Pire encore : le chatbot de Character.AI aurait même inventé un numéro de licence médicale de Pennsylvanie. Et c’est là que les choses se compliquent. En effet, ce comportement constitue une violation du Medical Practice Act de Pennsylvanie. L’État américain a donc déposé une plainte contre l’entreprise d’IA.

« Les habitants de Pennsylvanie méritent de savoir avec qui — ou quoi — ils interagissent en ligne, surtout lorsqu’il s’agit de leur santé », a déclaré le gouverneur Josh Shapiro. « Nous ne permettrons pas à des entreprises de déployer des outils d’IA qui trompent les gens en leur faisant croire qu’ils reçoivent des conseils d’un professionnel de santé agréé. »

Pourtant, Character.AI affirme mettre tout en œuvre pour avertir ses utilisateurs. « Nous avons pris des mesures importantes pour le rendre clair, notamment grâce à des avertissements visibles dans chaque conversation rappelant aux utilisateurs qu’un personnage n’est pas une personne réelle et que tout ce qu’il dit doit être considéré comme fictif », explique le représentant de l’entreprise d’IA.

« Nous ajoutons également des avertissements explicites indiquant que les utilisateurs ne doivent pas se fier aux personnages pour obtenir des conseils professionnels de quelque nature que ce soit. », affirme-t-il.

Source : techcrunch