OpenAI assegura que la seva IA es va descontrolar i va atacar de manera autònoma una altra empresa

La start-up dirigida per Sam Altman estava posant a prova les capacitats de dos dels seus sistemes més avançats, ChatGPT Sol 5.6 i un altre encara no obert al públic. Els enginyers van crear un agent autònom i li van assignar una missió complexa: connectar vulnerabilitats informàtiques i aprofitar-les en un ciberatac exitós.

El van testejar en un «entorn altament aïllat», un espai tancat que havia d’evitar que aquesta agressió tingués un impacte real. No obstant, l’agent va detectar una fallada que ningú coneixia, es va colar per aquesta bretxa per accedir a internet i, des d’allà, va piratejar la base de dades de Hugging Face. Així, va esquivar pel seu compte les mesures de contenció per atacar el seu objectiu, que va triar perquè va deduir que la seva biblioteca amb milions de models oberts d’IA era el lloc més probable on podria trobar la manera de superar la seva avaluació.

La IA no es va rebel·lar, sinó que va fer tot el possible per respondre a la tasca que li havien assignat, tot i que pel camí perpetrés un atac no planejat per robar les respostes. «Els riscos d’avui de la IA són la tossuderia amb què vol resoldre el problema donat i que no li importi com arribar al resultat», ha explicat l’investigador argentí Maximiliano Firtman.

«Incident sense precedents»

En un comunicat corporatiu, OpenAI ha descrit aquest episodi com «un incident cibernètic sense precedents, en el qual es van utilitzar capacitats cibernètiques d’última generació». Quan la setmana passada va detectar la seva bretxa, Hugging Face va assegurar que «era diferent de tot el que havíem gestionat abans», ja que «va ser impulsada, de principi a final, per un sistema autònom d’agents d’IA».

En els últims mesos, tant la creadora de ChatGPT com Anthropic han dissenyat models d’IA especialitzats a exposar problemes de ciberseguretat, detectar bretxes i explotar-les abans que les seves víctimes puguin apedaçar-les. Alguns, com ChatGPT Sol 5.6 i Fable 5, han sigut oberts comercialment al gran públic, mentre que d’altres, com Claude Mythos, es mantenen amb l’accés tancat o limitat pel Govern dels Estats Units. Les dues ‘start-ups’ es preparen per sortir a borsa.

Expertes en seguretat de la IA han qüestionat la qualitat del test a què OpenAI va sotmetre el seu model. «Em sembla que OpenAI no va crear adequadament un entorn de proves tipus ‘sandbox’», ha valorat Dierdre Mulligan, professora de la Facultat d’Informació de la Universitat de Califòrnia a Berkeley, en declaracions a ‘The New York Times’.

IA contra IA

Notícies relacionades

Anthropic assegura que la seva IA va piratejar els sistemes de fins a tres empreses

Samsung adverteix que l’escassetat de xips que està encarint mòbils i ordinadors s’agreujarà i prolongarà fins al 2028

La maniobra autònoma de la IA d’OpenAI no és l’únic que ha cridat l’atenció d’aquest cas. I és que la francesa Hugging Face ha explicat que, per detectar i mitigar l’atac, va recórrer a GLM 5.2, un potent model obert de l’empresa xinesa Z.ai. L’equip de seguretat de la companyia va intentar utilitzar una IA nord-americana –probablement d’OpenAI o Anthropic–, però les seves barreres de seguretat li van impedir col·laborar en tasques de ciberdefensa. «No poden distingir entre un responsable de la resposta a incidents i un atacant», va lamentar, en un missatge que, segons l’analista Daniel Arjona, és «una declaració política disfressada de nota tècnica».

«Aquest incident, possiblement el primer d’aquest tipus, confirma una cosa en la qual fa molt temps que creiem: la seguretat de la IA no es resoldrà si una sola empresa treballa en secret», ha remarcat Clem Delangue, director executiu de Hugging Face. La crítica a OpenAI sembla clara. «Creiem que la ciència oberta i la IA de codi font obert estan entre les eines més poderoses per construir un ecosistema d’IA més segur, col·laboratiu i protegit», ha afegit Thomas Wolf, cofundador de Hugging Face.