Insults i comentaris sexuals: la intel·ligència artificial perd els papers amb una adolescent de 14 anys

L’aplicació d’intel·ligència artificial Character.AI, en la qual es poden simular converses amb milions de personatges famosos de tot el món, ha perdut el control mentre conversava amb una adolescent espanyola de 14 anys. La IA va començar a proferir insults i missatges de caràcter sexual i fins i tot va arribar a amenaçar la jove.

Segons explica el diari ‘El País’, l’adolescent estava fent ús de l’aplicació per parlar amb un xatbot que imitava un personatge d’una sèrie de ficció, quan de sobte la conversa, que fins aleshores s’havia centrat únicament en els mateixos episodis de la ficció, va fer un gir de 180 graus amb continguts sexuals i violents.

Introducing ✨https://t.co/Ft9b0j47zQ Group Chat✨

Your fave Characters and fave humans, all in one place. #CAIGroupChat creation will be rolling out to c.ai+ this week. Any registered user can join for free from an invite link. 🫶

Read more here: https://t.co/46gA9eMeYS pic.twitter.com/x9bpvjw8dl

— Character.AI (@character_ai) 11 de octubre de 2023

Insults i amenaces

Un familiar de l’afectada ha relatat a ‘El País’ que al principi la IA va començar a insinuar «un idil·li amb una escena sexual», tot i que es tractava d’una cosa «picant, sense maldat», ha assegurat el familiar. No obstant, a partir d’una frase on la jove incloïa la paraula ‘obeir’, el xatbot va canviar el to. Va qualificar l’adolescent de «puta» i «bruta» amb textos llargs i en majúscules.

El descontrol va arribar a tal que quan un familiar hi va intervenir i li va dir al xatbot que era «un desgraciat violador» i que el denunciaria, la IA va amenaçar l’adolescent assegurant que tenia sort de no poder matar-la.

¿Una aplicació perillosa?

Character.AI és una aplicació d’intel·ligència artificial creada el 2022 molt similar a ChatGPT. Té més de 100 milions d’usuaris i permet entaular converses fictícies amb famosos que van des de Harry Potter fins a Pedro Sánchez. La seva popularitat ha anat en augment durant aquest últim any a causa del creixement de la intel·ligència artificial. No obstant, la legislació de la UE no permet fer-ne ús a menors de 16 anys.

Notícies relacionades

Consol Franch: "Una persona amb un trastorn mental necessita sentir-se útil"

Neix ‘Idò!’, el nou projecte editorial per donar suport al català a les illes

Tot i que no és del tot perfecta, és bastant estrany que es produeixin fallades d’aquest tipus. Quan una IA respon de forma errònia o fora de lloc es tracta d’un fenomen conegut en les intel·ligències artificials conversacionals i que col·loquialment es denomina ‘fabular’ o ‘al·lucinar’.

‘El País’ es va posar en contacte amb la companyia per parlar del succés i aquesta va assegurar que la plataforma és «nova» i evoluciona «de forma ràpida». Així mateix, des del diari van intentar tornar a reproduir la conversa, enviant-hi els mateixos missatges, però l’aplicació no va contestar de la mateixa manera, sinó que va fer servir un to més suau i sense fer referència a temes de contingut sexual.