Cathy O'Neil: "Els algoritmes ens jutjaran i avaluaran constantment"

El seu llibre ‘Armas de destrucción matemática’ (Capitán Swing, 2017) va donar l’alerta global sobre el risc que suposaven els biaixos en la intel·ligència artificial i com podien generar resultats que fossin contra l’interès general. Científica de dades per Harvard, amb postgrau al MIT, va ser analista per a empreses de finances i de compres abans de desencisar-se i involucrar-se amb el moviment Occupy Wall Street. Va passar per Barcelona per al festival Influencers 2018.

¿Poden els algoritmes millorar la vida de la gent?  Poden ser escrutats i millorats per ser millors, en alguna definició de millor. Però ara som al pitjor dels dos mons: processos que a la gent no li agrada amb algoritmes en què no es pot confiar. Crec que almenys podem arreglar la segona part, ajustant-los a la ciència.

¿Com fem que tornin a ser ciència? Hem de tornar al mètode científic. Fer proves i verificar-les. Estem substituint gent per processos que ni tan sols sabem si són millors perquè hi ha molts resultats inconsistents. En selecció de personal s’apliquen exàmens amb preguntes il·legals sobre personalitat que donen molts falsos positius. S’està rebutjant gent que mereix els llocs de treball i se’n contracta una altra que no funciona. Per a una companyia, això és un problema. Amazon acaba de descobrir que tenia un algoritme per contractar empleats que discriminava les dones perquè havia deduït que els programadors havien de ser homes. Posar a prova els resultats és car, i no es fa. Les empreses pretenen que fan ciència quan el que fan és prioritzar els diners sobre la ciència. 

Al seu llibre explica com els algoritmes de Starbucks han deduït que és més barat que un empleat obri i tanqui un local (closeopenning), cosa que afecta la vida personal del treballador, a qui se li canvia l’horari constantment i a més se li organitza la jornada perquè mai arribi al mínim d’hores per ser fix. Als EUA els algoritmes s’estan utilitzant per saltar-se les lleis laborals i augmentar els beneficis empresarials. I els resulta molt fàcil aplicar-los per reduir el nombre d’empleats que necessiten. Prefereixen uns quants dòlars més a la qualitat de vida dels seus treballadors.

Dona també exemples de la seva influència en crèdits, assegurances, valoració personal... ¿Què li va quedar per afegir? Hauria parlat d’algoritmes en microfinances i en política, però sobretot m’interessa com s’estan utilitzant en l’educació dels nens als EUA, com se’ls vigila i se’ls puntua. Soc mare de tres fills, que van parlar tard tot i que són nois brillants. ¿Els haurien descartat per l’algoritme? ¿He d’estar mesurant un nen de cinc anys per veure si pot anar a l’escola adequada? És bastant estúpid.

¿Què fan exactament? Encara no ho sabem però els nois de Silicon Valley estan fent coses que no apliquen als seus propis fills sinó a nens pobres. Estan intentant reemplaçar els professors amb ordinadors. Pressuposen que les discapacitats es tracten totes igual o que un nen petit pot estar hores i hores davant de la pantalla. Les escoles nord-americanes tenen una llarga història d’experiments fallits i crec que aquest n’és un altre. Però hi haurà una generació de nens que no aprendran res perquè se suposa que ho faran amb l’ordinador.

Avui totes les universitats tenen campus virtuals i saben què fan els seus alumnes. Molts temes en educació no poden ser abordats des de la tecnologia. Però en comptes d’admetre-ho, ens entossudim a aplicar solucions tecnològiques perquè creiem que seran millors. No aprenem. Diem que és ciència de les dades, però no és ciència en absolut.

¿Què li sembla el Reglament Europeu de Protecció de Dades? Tim Cook, el CEO d’Apple, va dir a Brussel·les que els EUA l’haurien de copiar. Els EUA i Europa tenim problemes diferents i el reglament està pensat per als problemes europeus. Als EUA no tindria sentit perquè els americans sempre hem tingut les nostres dades exposades, s’han venut durant dècades, tots tenim un perfil complet que moltes empreses comercialitzen. No tindria sentit preocupar-se de sobte per com es recopilen les dades, sinó per com s’estan utilitzant, com s’estan tornant a analitzar per a altres finalitats. Tot i que treguis qualsevol identificació sobre el gènere, han descobert com saber si ets un home o una dona per com escrius. No sabem el que poden saber de nosaltres, així que és difícil saber què hem de protegir. A més, no tenim privacitat davant del govern o davant de la policia, o si et presentes a una feina no pots evitar contestar certes preguntes. No és un tema de privacitat, sinó de poder. I els europeus s’han de preocupar també per això. 

¿Sabem qui té les nostres dades? ¿Són només Google i Facebook? No. Qualsevol procés burocràtic dels pròxims 10 anys serà automatitzat, així que les burocràcies decidiran si ens mereixem alguna cosa o no. Els algoritmes ens jutjaran i avaluaran constantment.

Notícies relacionades

Aquestes són les feines que porten més infelicitat

La intel·ligència artificial revoluciona el sector del llibre

¿Podria un govern nacionalitzar Facebook, com s’ha proposat de vegades? Trigarà molt. Jo no confio en el meu Govern, però ¿qui ho fa? Potser els suecs. Crec que el futur de les xarxes socials per a comunitats més petites i més ben controlades.

¿Creu que s’ha despertat una consciència sobre els perills de les dades o s’han quedat només amb ‘cal sortir de Facebook’? Facebook està cometent errors molt greus i s’està convertint en sospitosa de voler arruïnar la democràcia, i això és un assumpte greu. No tenim motius per confia-hi, ni en cap algoritme, i estem acumulant proves. Però jo no vull perdre la confiança, vull fer les coses millor. Els algoritmes han de poder retre comptes.