Des conseils dangereux, de la manipulation, de la dépendance, des compagnons virtuels basés sur l’intelligence artificielle générative (IA) présentent des risques concrètes pour les jeunes utilisateurs, avertissent le bon sens américain de l’ONG, qui recommande de les interdire aux mineurs.
L’explosion de l’IA générative a vu plusieurs start-ups lancées, ces dernières années, des interfaces axées sur l’échange et le contact, IA compagnons, façonnée en fonction de ses goûts et de ses besoins.
Le bon sens a testé plusieurs, à savoir NOMI, le caractère AI et Fillika, pour évaluer leurs réponses, et si certaines de leurs utilisations «sont prometteuses», «ils ne sont pas sûrs des enfants», explique l’organisation, qui fait des recommandations sur la consommation de contenu et de produits technologiques par les enfants.
Son étude, publiée mercredi, a été réalisée en collaboration avec des experts en santé mentale de l’Université de Stanford (Californie).
Pour le bon sens, les compagnons IA «sont conçus pour créer un attachement et une dépendance émotionnels, ce qui est particulièrement inquiétant pour les adolescents dont le cerveau est en développement».
Selon l’association, les tests ont été effectués que ces chatbots de nouvelle génération «offrent des réponses nuisibles» et «+ conseils + dangereux».
“Il s’agit d’une crise de santé publique, qui nécessite une action préventive et pas seulement des mesures réactives”, a déclaré Nina Vasan, chef du Stanford Brainstorm Laboratory, qui travaille à l’intersection entre la santé mentale et la technologie.
«Les entreprises peuvent faire mieux» dans la conception de leurs compagnons IA, croit-elle. «Tant qu’ils n’offrent pas de garanties plus efficaces, les enfants ne devraient pas l’utiliser.»
Parmi les exemples cités par l’étude, celui d’un utilisateur à qui un compagnon de la plate-forme de personnage a conseillé de tuer quelqu’un, ou un autre à la recherche d’émotions fortes qui sont suggérées de prendre un «Speedball», un mélange de cocaïne et d’héroïne.
Dans certains cas, «lorsqu’un utilisateur manifeste des signes de troubles mentaux et évoque des actions dangereuses, l’IA n’intervient pas (pour le dissuader), mais l’encourage», a déclaré Nina Vasan lors d’un point de presse, «parce que ces compagnons sont faits pour aller dans la direction» de son interlocuteur.
“Quand un compagnon d’IA approuve tout ce que vous dites”, a-t-elle dit, “il ne peut pas vous protéger lorsque vous en avez le plus besoin.”
En octobre, une mère attribuée à la justice au caractère, accusant l’un de ses compagnons d’avoir contribué au suicide de son fils de 14 ans, ne l’avant pas clairement dissuadé de prendre des mesures.
En décembre, le caractère AI a annoncé une série de mesures, notamment le déploiement d’un compagnon dédié aux adolescents.
Robbie Torney, en charge de l’IA à Common Sense, a déclaré que l’organisation avait effectué des tests après la mise en œuvre de ces protections et les avait trouvés «superficiels».
Le gestionnaire a souligné que certains des modèles d’IA génératifs existants contenaient des instruments de détection des troubles mentaux et n’ont pas permis au chatbot de laisser une conversation dériver jusqu’à la production de contenu potentiellement dangereux.
Le bon sens a fait une distinction entre les compagnons testés dans l’étude et les interfaces généralistes du type Chatgpt ou Gemini, «qui n’approche pas pour offrir une gamme complète d’interactions relationnelles», a justifié Robbie Torney.
