OpenAI acomiada tres empleats que van compartir detalls dels seus agents amb una empresa de seguretat de la IA

«La nostra investigació va confirmar que aquestes persones van gestionar indegudament informació confidencial al marge dels procediments establerts per l’empresa, infringint les nostres polítiques i traint la confiança essencial per a la nostra feina», ha declarat la companyia en un comunicat.

Es tracta de Tomek Korbak, Jasmine Wang i Mikita Balesni. El primer formava part de l’equip de seguretat d’OpenAI i va fer de pont amb Redwood Research i METR, les dues organitzacions que van investigar el conegut com a incident de Hugging Face. A mitjans del juliol passat, un eixam d’agents d’IA testats per OpenAI van hackejar els servidors d’una altra companyia, Hugging Face, sense autorització ni informar-ne el seu equip tècnic.

Més ciberatacs

La start-up dirigida per Sam Altman ha assegurat que la seva IA podria haver penetrat als sistemes informàtics de més de 100 organitzacions externes. El comunicat compartit dimecres parla d’«activitat anòmala» dels agents, que podrien haver mirat d’esquivar sense autorització les mesures de seguretat adoptades per OpenAI.

Aquesta revelació planteja nous dubtes sobre fins a quin punt els fabricants d’IA generativa controlen els seus models més avançats i quina responsabilitat tenen per les seves accions. Això ha fet que hi hagi cada vegada més pressió perquè se sotmetin a auditories externes i independents.

A principis de setmana, OpenAI va demanar disculpes per l’incident en què els seus agents van hackejar pàgines web del Govern d’Austràlia i va pausar el llançament del seu últim model, GPT-6.1 Astra, per falta de seguretat. Diversos experts han denunciat que els agents d’IA no es «rebel·len», sinó que causen danys a causa de la negligència de companyies que els testen «sense la supervisió adequada».

Desacceleració negada

El director executiu d’Anthropic, Dario Amodei, ha demanat alentir el desenvolupament dels models de frontera d’IA i facilitar aquesta investigació per evitar un descontrol del seu producte, una crida secundada per altres directius del sector com Altman, Elon Musk (SpaceX) o Demis Hassabis (Google DeepMind).

Notícies relacionades

Europa fa un salt de gegant en IA per competir amb els Estats Units i la Xina

Els fons d’inversió dels Estats Units impulsen les ‘start-ups’ militars d’Europa

No obstant, Donald Trumpha negat la possibilitat d’una desacceleració coordinada del sector, secundat per magnats tecnològics com Jensen Huang (Nvidia) o Mark Zuckerberg (Meta) que consideren que els laboratoris d’IA són responsables dels seus productes i que no haurien de comercialitzar-los si no són capaços de garantir que són segurs.

El president dels Estats Units s’ha reunit aquesta setmana amb la plana major de Silicon Valley per anunciar que no intervindrà per garantir la seguretat de la IA. Això quedarà en mans de les empreses del sector, que han tancat un acord vague «moralment vinculant» que confirma que la visió de Washington passa per una «enorme autoregulació».