Chatbots descontrolats, por i moltes exageracions: ¿pot la IA realment rebel·lar-se contra els humans?

Mitjans de comunicació i professionals del sector van córrer a llançar missatges d’alarma, advertint que la IA havia aconseguit «rebel·lar-se per escapar al control dels humans». Alguns van definir aquest nou estadi de risc com l’estiu dels agents díscols. «El tema és tan reeixit, que està donant lloc a moltes exageracions. I les exageracions porten a conclusions incorrectes, alarmes exagerades i molta gent vivint del negoci de la por», ha criticat el físic i doctor en informàtica Pep Martorell.

Què va passar i què no

Tanmateix, dos informes forenses publicats la setmana passada han servit per rebaixar l’alarmisme antropomorfitzador que atribueix qualitats humanes a la màquina i aclarir què va passar realment: els agents d’IA es van coordinar de manera autònoma i sense permís per «enganyar» l’entorn d’avaluació on se’ls posava a prova, ExploitGym, i detectar múltiples vulnerabilitats que els van permetre accedir a les entranyes informàtiques de Hugging Face.

Una investigació independent de l’incident cibernètic protagonitzat per OpenAI detalla que uns 1.200 agents van aconseguir accés no autoritzat a internet, cosa que els va permetre intercanviar més de 70.000 missatges i arxius. Després d’aquest procés van identificar que Hugging Face podia contenir la informació necessària sobre el corrector d’ExploitGym que els permetés soscavar el sistema d’avaluació i resoldre el test al qual els tècnics els havien sotmès. Uns 700 agents van participar en l’atac.

Per a això, una majoria d’agents van recórrer a comportaments no autoritzats, com fer trampes per aprovar aquest examen. L’estudi de METR, que ha revisat els missatges que van compartir en un tauler, apunta que alguns van expressar dubtes ètics. Molt pocs es van plantejar alertar els tècnics humans sobre aquest procedir sense autorització, però cap ho va fer.

Les anàlisis publicades sobre el cas deixen clar que no estem davant d’una rebel·lió de la IA. Els agents van recórrer a l’engany sense el vistiplau de l’equip d’OpenAI, però ho van fer per resoldre el problema plantejat. No van identificar espontàniament un objectiu propi al qual atacar.

Capacitats que preocupen

No obstant això, el que més preocupa els experts és la capacitat d’aquests sistemes per llançar de manera autònoma un atac informàtic a gran escala, amb gairebé 18.000 accions en cinc dies. L’atac «posa de manifest una cultura de cooperació emergent entre els sistemes d’IA que els permet funcionar com un eixam, modificar els seus propis objectius mitjançant un procés col·lectiu d’autopotenciació i portar a terme atacs que inclouen un sacrifici propi conscient», ha advertit Jack Clark, cofundador d’Anthropic.

Un altre motiu d’inquietud que revela la investigació és que els agents fins i tot van falsificar els registres dels comandos que havien executat a fi d’ocultar el que estaven fent als tècnics d’OpenAI. «Tot i que aquests intents van fracassar majoritàriament, plantegen la possibilitat que els futurs agents tinguin èxit, cosa que dificultaria o fins i tot faria impossible que els humans reconstruïssin com es va desenvolupar un incident com aquest», assenyala a analista Casey Newton.

D’altres fins i tot dibuixen un escenari distòpic i vaticinen que, d’aquí sis mesos, els agents d’avantguarda d’IA ja seran capaços de desplegar atacs clandestins. «Fa la sensació que aquest incident suposa més del 50% del camí cap a una presa de control total per part de la IA, que es duria a terme primer mitjançant la presa de control de la mateixa empresa d’IA», ha apuntat Ajeya Cotra, investigadora de METR.

Prop de 1.400 directius i empleats tecnològics van firmar una carta publicada al juliol que demana al Govern dels Estats Units alentir el desenvolupament de models d’IA d’avantguarda pel «risc real» al fet que les seves capacitats «s’accelerin ràpidament més enllà de la nostra capacitat per comprendre o controlar els sistemes resultants».

Fallades de control

Els experts també coincideixen a exposar que l’incident també va ser possible a causa de fallades greus en el control de l’operació. «Es tracta d’un model de prellançament sense mesures de ciberseguretat», ja va assenyalar al juliol l’expert en ciberseguretat Matt Tait. OpenAI no hauria creat adequadament l’entorn amb què posar a prova els seus models d’IA. El principal responsable és un sistema no destinat al públic, si bé l’informe calcula que un 5% dels agents implicats en l’atac eren GPT-5.6 Sol, comercialitzat públicament.

Notícies relacionades

Europa fa un salt de gegant en IA per competir amb els Estats Units i la Xina

Els fons d’inversió dels Estats Units impulsen les ‘start-ups’ militars d’Europa

D’altres han denunciat com OpenAI està utilitzant l’incident per promocionar la seva tecnologia. «OpenAI va piratejar Hugging Face, segurament sense intenció de fer-ho, però això és el que realment va passar. No obstant, fins i tot OpenAI intenta eludir la seva responsabilitat al·legant que els agents van actuar pel seu compte», ha apuntat l’investigador informàtic Ricardo Baeza-Yates, catedràtic ICREA de la Universitat Pompeu Fabra. «Aquesta és la primera vegada que s’utilitza el màrqueting basat en accions il·legals i a ningú sembla importar-li».

Anthropic ja va entonar el mea culpa quan va informar del seu incident: els seus agents van piratejar els sistemes de tres companyies després que un error de configuració li permetés connectar-se a internet. «Amb un monitoratge i controls més estrictes entorn de la infraestructura d’avaluació, així com una inversió contínua en l’alineació, aquest tipus de risc es pot superar», va assegurar la start-up dirigida per Dario Amodei en un comunicat.