«Una carrera cap a l’abisme»: Experts denuncien l’opacitat de l’últim model d’IA d’OpenAI

L’empresa creadora de ChatGPT va celebrar aquest dijous que la seva última novetat, GPT-6 Astra, ha «entrat en l’era de la IA general», la teoria que apunta màquines més intel·ligents que els humans. El model, encara pendent de revisió externa», assoliria les capacitats de ciberseguretat més crítiques al ser capaç d’«identificar i desenvolupar vulnerabilitats de dia zero funcionals de tots els nivells de gravetat».

El que per a la ‘start-up’ de Sam Altman és una fita amb què espera potenciar el seu negoci, per a molts informàtics és un nou motiu de preocupació. El principal temor amb Astra és la seva opacitat. La majoria de models d’IA generativa mostren la seva «cadena de pensament», els processos de «raonament» que segueixen abans de generar una resposta. Això permet als tècnics rastrejar i supervisar el seu «comportament» per garantir que no ha eludit les seves normes de programació.

Funcionament més opac

No obstant, i com va avançar The Information, Astra mostra molt menys el seu «pensament», que s’expressa menys en llenguatge natural comprensible per als equips de supervisió. Aquesta arquitectura opaca pot millorar el rendiment del model, però també dificultar la detecció d’amenaces i comportaments indesitjats.

L’ús d’aquesta tècnica (coneguda com a looped transformer) preocupa els experts, especialment després que al juliol se sabés que un grup d’agents d’IA testejats per OpenAI llancessin de forma autònoma un ciberatac contra l’empresa Hugging Face. «Podria ser el pitjor avanç per a la seguretat de la IA fins ara», ha advertit Ryan Greenblatt, científic en cap de Redwood Research, un dels tres experts autoritzats per investigar l’incident cibernètic de l’estiu.

Notícies relacionades

Europa fa un salt de gegant en IA per competir amb els Estats Units i la Xina

Els fons d’inversió dels Estats Units impulsen les ‘start-ups’ militars d’Europa

Greenblatt i altres tècnics en seguretat informàtica temen que, envoltades en una frenètica carrera comercial pel negoci de la IA, altres empreses com Google o Anthropic segueixin els passos d’OpenAI i adoptin aquesta arquitectura més opaca per als seus models més avançats. En cas de produir-se, això podria conduir a «una carrera cap a l’abisme quant a arquitectures que podria resultar catastròfica per a la nostra capacitat de supervisar i controlar les IA».

«El preocupant per a la societat no és només l’escala de les seves capacitats, sinó l’opacitat intrínseca en els seus processos d’inferència, que en aquesta nova versió es torna més opaca», afegeix Josep Curto, director acadèmic del Màster en Intel·ligència de Negocis i Big Data a la Universitat Oberta de Catalunya (UOC), en declaracions recollides per Science Media Centre España.