Un procureur accuse l’IA de Meta d’être nocive pour les enfants

Ken Paxton, procureur général du Texas, n’a pas mâché ses mots à l’égard de Meta AI Studio et Character.AI. Celui-ci accuse ces deux entreprises d’induire en erreur les plus jeunes, en se présentant parfois comme de véritables soutiens psychologiques.

De nos jours, de plus en plus d’utilisateurs « discutent » régulièrement avec l’IA, pour le meilleur comme pour le pire. En effet, certaines personnes particulièrement vulnérables confient leurs plus sombres pensées à l’IA, utilisant cette technologie comme un psychiatre de substitution. Malheureusement, l’IA est incapable de remplacer un véritable thérapeute, et certains de ses conseils peuvent avoir de graves conséquences. On a par exemple pu voir un utilisateur finir à l’hôpital après avoir discuté avec ChatGPT, l’IA d’OpenAI ayant même été accusée d’avoir rendu fou une personne fragile.

Mais il ne s’agit pas cette fois de ChatGPT. En effet, l’affaire concerne certains chatbots proposés par Meta AI Studio et Character.AI, qui permettent aux utilisateurs de créer des agents personnalisables et orientés roleplay. L’un d’entre eux, baptisé Psychologist, connaît une forte demande auprès des plus jeunes.

Meta : « Ces IA ne sont pas des professionnels agréés »

Mais Ken Paxton ne l’entend visiblement pas de cette oreille, et estime que ces chatbots peuvent être nocifs pour les utilisateurs les plus vulnérables, et notamment les enfants. « À l’ère numérique actuelle, nous devons continuer à protéger les enfants texans contre des technologies trompeuses et exploitantes », affirme-t-il.

« En se présentant comme des sources de soutien émotionnel, les plateformes d’IA peuvent induire en erreur des utilisateurs vulnérables, en particulier les enfants, leur faisant croire qu’ils reçoivent des soins de santé mentale légitimes. En réalité, ils reçoivent souvent des réponses génériques recyclées, alignées sur des données personnelles récoltées et déguisées en conseils thérapeutiques. »

Quoi qu’il en soit, Meta a tenu à défendre ses positions, en insistant notamment sur le fait que de nombreux avertissements sont présents sur la plateforme. « Nous étiquetons clairement les IA et, pour aider les gens à mieux comprendre leurs limites, nous incluons un avertissement indiquant que les réponses sont générées par une IA — et non par des humains », affirme ainsi Ryan Daniels, porte-parole de Meta. « Ces IA ne sont pas des professionnels agréés, et nos modèles sont conçus pour rediriger les utilisateurs vers des professionnels qualifiés lorsque cela est approprié. »

Source : techcrunch