Seria un escàndol que un banc denegués un crèdit per motius de raça o sexuals, però si la decisió prové d’un algoritme, a qui ho podrem recriminar?

Com es tracta l’ingent volum d’informació obtingut a través de la mineria de dades –en un sentit ampli, a través del big data (‘dades massives’)– perquè sigui útil a les empreses, partits polítics i governs que en tenen la propietat o que l’utilitzen? I quins són els efectes positius i negatius que els resultats d’aquest tractament poden tenir per a les persones? La informació s’emmagatzema en unes immenses granges d’ordinadors (o núvol) per procedir al seu tractament posterior. Aquest es basa, principalment, en estudis estadístics de les correlacions existents entre les dades obtingudes i també en l’aplicació d’uns algoritmes (o fórmules) matemàtics que permeten obtenir, de forma automàtica, resultats, pronòstics o, fins i tot, decisions. El valor del big data rau en el resultat de les correlacions intel·ligents a partir de l’encreuament de dades; n’és un exemple l’anàlisi de les relacions que s’estableixen entre hàbits alimentaris i malalties o bé entre qualssevol altres dues variables. En resum, tenim un volum ingent de dades i uns algoritmes que les analitzen per treure’n conclusions, que poden ser de caràcter general o bé versar sobre una persona o un grup de persones en particular; uns algoritmes, per cert, que en ocasions no es limiten a aquestes conclusions sinó que prenen directament les decisions sense intervenció humana. És evident que l’obtenció d’aquests resultats permet, en molts casos, disposar de millors prediccions sobre el futur i que, en conseqüència, ajuden a reduir els costos de la incertesa –alguns en diuen anarquia–. No és menys cert, però, que també poden produir efectes no desitjats perquè els algoritmes hereten, sovint, els prejudicis i malentesos dels humans que els han formulat. Vegem un cas concret: anem al nostre banc a demanar un crèdit. El banc ja té molta informació sobre nosaltres (edat, feina, on vivim, ingressos i impagaments anteriors, entre altres), però també disposa d’altres informacions obtingudes o comprades a altres empreses que, al seu temps, les han obtingut de les xarxes socials (Google, Facebook, Twitter...) i d’altres fonts. En aquest supòsit, els ordinadors del banc analitzaran de forma conjunta tota la informació i mitjançant els seus algoritmes decidiran si ens donen o no el préstec. És a dir, la màquina pot rebutjar la nostra sol·licitud en funció de com estiguin definits els algoritmes que prenen la decisió: la màquina pot tendir a no concedir-nos el crèdit si (per una raó estadística) la gent que viu al nostre barri (o que té la nostra edat, o que pertany al nostre cercle d’amistats, o que procedeix del mateix país d’origen...) és menys complidora; també pot negar-nos el crèdit perquè, en el seu historial, té constància que fa uns anys no vam poder fer un pagament a temps o, simplement, perquè el banc ha decidit no donar préstecs a la gent que treballa en un sector econòmic determinat o que no faci un mínim d’anys que treballa en una empresa. Aquest exemple ens és molt útil per veure quins són els inconvenients d’aquests models de decisió automàtica basats en el big data. Un primer aspecte negatiu és que aquests algoritmes estan dissenyats a partir de la suposició que els patrons (o esdeveniments) del passat permeten entendre per què passa el que passa en el present i on ens pot dur el futur. Ho hem vist a l’anterior exemple: l’incompliment passat dels pagaments castiga el futur, sense tenir en compte les causes de l’incompliment ni si, en la actualitat, aquestes han estat esmenades. En segon lloc, el fet de tractar-se de models generalitzats –s’aplica el mateix model a tothom– i simplificadors –no es tenen en compte totes les variables que poden concórrer en la circumstància sobre la qual l’algoritme decideix– pot comportar discriminacions i injustícies, atès que pot castigar sense excepcions determinats grups socials –per exemple, els de menys capacitat econòmica– o persones que aparentment es troben en una situació similar a les estigmatitzades per l’algoritme. Es diu que alguns d’aquests models s’adapten, mercès a la denominada intel·ligència artificial, de forma constant a la realitat mitjançant la capacitat d’autoaprenentatge. Això és cert quan es tracta de models predictius basats en l’estudi permanent de grans masses de dades, però difícilment s’esdevé quan es tracta d’algoritmes que prenen decisions sobre persones o grups de persones concrets. A tall d’exemple, si la màquina no et dona el crèdit, mai no podrà saber si l’hauries o no tornat. En aquests casos, com que el model no canvia, tendeix a perpetuar els prejudicis i, en conseqüència, les injustícies que se’n deriven. En resum, es produeix una automatització de la discriminació. I, on podem anar a queixar-nos un cop produïda aquesta discriminació? Avui dia seria un escàndol que un banc denegués un crèdit per motius de raça o sexuals, però si la decisió no prové d’una persona sinó d’una màquina impersonal (un algoritme), a qui podem recriminar aquesta decisió perversa?

Seria un escàndol que un banc denegués un crèdit per motius de raça o sexuals, però si la decisió prové d’un algoritme, a qui ho podrem recriminar?

La cuina del ‘big data’