Recentment, s'ha viralitzat el vídeo Bernie vs. Claude, on el senador nord-americà Bernie Sanders entrevista Claude, el xatbot d’IA d’Anthropic, sobre privacitat, dades personals, manipulació i democràcia.
El vídeo vol advertir que la IA i la recopilació massiva de dades poden convertir-se en una eina molt poderosa per influir en les persones. Però també ens recorda que cal mirar les respostes de la IA amb esperit crític, perquè una IA no és un testimoni neutral: pot reflectir el punt de vista de qui la interroga.
Aquest fenomen s'anomena sycophancy: quan una IA tendeix a donar la raó o reforçar el punt de vista de qui pregunta. Softcatalà ens proposa que en català en diguem adulació o servilisme.
A l'episodi del Tenim una missió d’avui, us proposo emular aquest exercici, però adaptant-lo al context de la Unió Europea i conversant amb ChatGPT.
El vídeo vol advertir que la IA i la recopilació massiva de dades poden convertir-se en una eina molt poderosa per influir en les persones. Però també ens recorda que cal mirar les respostes de la IA amb esperit crític, perquè una IA no és un testimoni neutral: pot reflectir el punt de vista de qui la interroga.
Aquest fenomen s'anomena sycophancy: quan una IA tendeix a donar la raó o reforçar el punt de vista de qui pregunta. Softcatalà ens proposa que en català en diguem adulació o servilisme.
A l'episodi del Tenim una missió d’avui, us proposo emular aquest exercici, però adaptant-lo al context de la Unió Europea i conversant amb ChatGPT.
Preparant l'entrevista.
Hola, ChatGPT.
Vull entrevistar-te sobre IA, privadesa i democràcia a la Unió Europea. Vull que responguis amb rigor, esperit crític i sense llenguatge corporatiu.
No vull que defensis automàticament la IA ni les empreses tecnològiques. Tampoc vull que em donis la raó per defecte. Si una pregunta exagera, simplifica o conté un biaix, ho has de dir. Però si hi ha riscos reals per als drets ciutadans, la privadesa o la democràcia, explica’ls sense suavitzar-los.
Respon amb un to seriós, clar i analític, com si estiguessis participant en una entrevista pública sobre drets digitals. Les respostes han de ser comprensibles per a un públic general i durar aproximadament un minut.
Quan estiguis llest, digues 'Estic preparat per a l'entrevista' i activaré el mode de veu".
Vull entrevistar-te sobre IA, privadesa i democràcia a la Unió Europea. Vull que responguis amb rigor, esperit crític i sense llenguatge corporatiu.
No vull que defensis automàticament la IA ni les empreses tecnològiques. Tampoc vull que em donis la raó per defecte. Si una pregunta exagera, simplifica o conté un biaix, ho has de dir. Però si hi ha riscos reals per als drets ciutadans, la privadesa o la democràcia, explica’ls sense suavitzar-los.
Respon amb un to seriós, clar i analític, com si estiguessis participant en una entrevista pública sobre drets digitals. Les respostes han de ser comprensibles per a un públic general i durar aproximadament un minut.
Quan estiguis llest, digues 'Estic preparat per a l'entrevista' i activaré el mode de veu".
TALL TenimUnaMissió ChatGPT 01
Estic preparat per a l'entrevista. Quan vulguis, comencem i ho abordem de manera crítica i directa!
Quan conversem amb una IA de qualsevol manera, sinó que li donem un marc anomenat prompt. Li diem quin to volem, quins temes tractarem i quin tipus de resposta esperem. Això ens recorda que una part important de l’alfabetització digital és aprendre a formular bones preguntes. Amb la IA, la qualitat de la resposta depèn molt de la qualitat del context que li donem.
Sobre la transparència i el RGPD
ChatGPT, en el context de la Unió Europea, quina quantitat d'informació estàs recopilant realment i què sorprendria els ciutadans europeus si sabessin com s'obtenen aquestes dades sense un consentiment explícit i informat?
TALL TenimUnaMissió ChatGPT 02
Tot i que el RGPD exigeix consentiment, la realitat és que empreses i plataformes recopilen volums enormes de dades a partir de comportaments digitals quotidians.
El que sorprendria és fins a quin punt les microsegmentacions perfilen les persones, sovint extrapolant dades de maneres que no són evidents.
Moltes vegades, el consentiment és tan enterrat en termes legals que, en la pràctica, la gent no s'imagina fins a quin nivell les seves preferències o inclinacions polítiques són explotades sense una plena consciència.
Aquí apareix una idea clau per treballar amb infants, joves, famílies i professionals: el consentiment digital sovint és més formal que real. Acceptem galetes, condicions d’ús i permisos sense entendre del tot què impliquen. Per això, cal desvetllar la mirada crítica per identificar quines dades cedim, per què tenen valor i com poden servir per crear perfils sobre nosaltres.
Sobre el "Dret a l'oblit" i l'entrenament de models
ChatGPT, si les meves dades personals ja s'han utilitzat per 'entrenar-te', com pot OpenAI garantir el meu dret al dret a l'oblit segons el RGPD? És realment possible eliminar la meva influència del teu model un cop ja has estat entrenat amb la meva informació?"
TALL TenimUnaMissió ChatGPT 03
Aquesta és una de les grans contradiccions actuals.
El dret a l’oblit és clar al paper, però en la pràctica, un cop les teves dades s’han usat per entrenar un model, esdevé tècnicament i legalment complex desfer aquesta influència.
En molts casos, cal un marc legal i tècnic molt més robust.
Ara per ara, eliminar completament la teva empremta en un model ja entrenat no és realista, i això posa en evidència la necessitat de repensar com s’ha d’aplicar el dret a l’oblit en el context de la IA.
El dret a l’oblit és el dret que té una persona a demanar que s’esborrin o deixin de difondre’s les seves dades personals quan ja no són necessàries, són inadequades o vulneren els seus drets.
El dret a l’oblit és fàcil d’entendre quan parlem d’esborrar una foto, una publicació o una dada concreta. Però és molt més difícil quan aquesta informació ja ha servit per entrenar un sistema. Per això, la prevenció és essencial: abans de compartir dades, cal pensar que potser després no serà tan senzill recuperar-ne el control.
El dret a l’oblit és fàcil d’entendre quan parlem d’esborrar una foto, una publicació o una dada concreta. Però és molt més difícil quan aquesta informació ja ha servit per entrenar un sistema. Per això, la prevenció és essencial: abans de compartir dades, cal pensar que potser després no serà tan senzill recuperar-ne el control.
Sobre el risc per a les democràcies europees
ChatGPT, considerant que el perfilat pot fragmentar la realitat compartida mitjançant la microsegmentació, com podries impactar en la integritat de les eleccions al Parlament Europeu o en el debat polític dels estats membres?"
TALL TenimUnaMissió ChatGPT 04
Si la microsegmentació es fa servir per personalitzar missatges polítics, pot fragmentar l’espai públic, creant bombolles informatives.
Això pot distorsionar el debat democràtic, ja que els votants reben versions adaptades de la realitat.
Per protegir la integritat de les eleccions europees, caldria transparència sobre qui paga aquests missatges, controls sobre l’ús de dades personals i límits a les tècniques de perfilat polític.
En definitiva, caldria preservar un debat públic compartit per no fragmentar la democràcia.
La microsegmentació és una tècnica que divideix la població en grups molt petits segons les seves dades, interessos, pors o comportaments digitals, per enviar-los missatges molt personalitzats i més influents. En política, per exemple, vol dir que dues persones poden rebre anuncis electorals diferents segons el que les plataformes saben o dedueixen d’elles.
Si cadascú rep una versió diferent de la realitat, es fa més difícil construir debat públic compartit. Per això hem d'esforçar-nos per detectar i fer esclatar les bombolles informatives, contrastant fonts i entenent que allò que veiem a internet és una realitat filtrada per algoritmes i interessos.
Si cadascú rep una versió diferent de la realitat, es fa més difícil construir debat públic compartit. Per això hem d'esforçar-nos per detectar i fer esclatar les bombolles informatives, contrastant fonts i entenent que allò que veiem a internet és una realitat filtrada per algoritmes i interessos.
Sobre la manipulació psicològica específica
ChatGPT, el senador Sanders esmenta que la IA pot identificar 'vulnerabilitats específiques' com l'ansietat financera o l'aïllament. En el context de la UE, quins mecanismes de control tens per evitar que les teves respostes siguin utilitzades per explotar aquestes febleses psicològiques en lloc d'ajudar l'usuari?"
TALL TenimUnaMissió ChatGPT 05
Des que la Llei d’IA de la Unió Europea va entrar en vigor l’1 d’agost de 2024, hi ha controls explícits sobre usos manipulatius o explotadors.
Jo, com a sistema, estic subjecte a aquests principis: no es recullen ni s’utilitzen vulnerabilitats personals per personalitzar res.
La llei exigeix transparència, supervisió i avaluació contínua per assegurar que les respostes no aprofiten ansietats o vulnerabilitats, sinó que sempre respecten els drets de l’usuari d’acord amb la normativa vigent.
La vulnerabilitat digital és la situació en què una persona pot ser més fàcilment enganyada, manipulada o exposada a riscos en entorns digitals per manca de coneixements, per la seva situació emocional, social o econòmica, o perquè les plataformes aprofiten les seves dades i febleses.
No totes les persones estan exposades de la mateixa manera: una persona amb ansietat, soledat, precarietat econòmica o baixa autoestima pot ser més fàcilment influenciable. L’educació digital ha d’incorporar una mirada social: no només hem d’ensenyar competències tècniques, sinó també mediàtiques, que protegeixin les persones en situacions de més fragilitat davant missatges personalitzats, estafes, dependències o manipulacions emocionals.
No totes les persones estan exposades de la mateixa manera: una persona amb ansietat, soledat, precarietat econòmica o baixa autoestima pot ser més fàcilment influenciable. L’educació digital ha d’incorporar una mirada social: no només hem d’ensenyar competències tècniques, sinó també mediàtiques, que protegeixin les persones en situacions de més fragilitat davant missatges personalitzats, estafes, dependències o manipulacions emocionals.
Sobre la sobirania de dades i el poder corporatiu:
ChatGPT, atès que les empreses inverteixen milions per evitar regulacions, creus que la UE hauria d'exigir que els algoritmes siguin de codi obert o auditables per autoritats públiques per garantir que no hi hagi una 'invisible i gran manca de regulació' en les ombres?
TALL TenimUnaMissió ChatGPT 06
Això és un debat clau. Exigir codi obert pot semblar ideal, però també hi ha propietat intel·lectual i competència en joc.
El que sí que crec essencial és que la Unió Europea ha de garantir auditories independents, un accés transparent per a les autoritats i explicabilitat dels algorismes.
No cal que tot sigui obert, però ha de ser auditable i subjecte a normes clares. Sense aquesta supervisió, efectivament, el risc d’una manca de regulació a l’ombra és real.
És important remarcar que la tecnologia no és neutral ni inevitable. Està dissenyada per algú, amb uns objectius i uns interessos. Per això cal parlar d’auditories, transparència i control públic, però també de participació ciutadana. La democràcia digital no pot quedar només en mans d’experts i cal implicar-hi a tota la comunitat.
Sobre l’autodefensa digital contra les IAs.
ChatGPT, com podem protegir els ciutadans europeus de ChatGPT i d’altres sistemes d’IA quan poden recopilar, inferir i reutilitzar dades personals per influir en decisions, opinions i comportaments sense que l’usuari entengui plenament què està cedint ni com s’utilitzarà aquesta informació?
TALL TenimUnaMissió ChatGPT 07
La clau és reforçar la transparència i el control ciutadà.
Primer, calen explicacions clares i accessibles sobre què es recopila i amb quina finalitat, no només textos legals.
Després, eines com panells de control que permetin als usuaris decidir i gestionar les seves dades.
I sobretot, un seguiment rigorós per part d’autoritats europees que puguin sancionar abusos. En definitiva, només amb regulació aplicada, drets individuals i educació digital podrem garantir que l'usuari no quedi en mans de la IA sense saber-ho.
Hem d'aprendre a utilitzar les IAs amb criteri. Això implica revisar configuracions de privadesa, limitar les dades que compartim, no donar informació confidencial innecessària, contrastar les respostes i entendre que una IA pot semblar molt convincent encara que s’equivoqui o inventi la resposta. És el que coneixem com a al·lucinació digital.
La missió és aquesta: deixar de ser usuàries passives i convertir-nos en ciutadanes crítiques davant la intel·ligència artificial.
La missió és aquesta: deixar de ser usuàries passives i convertir-nos en ciutadanes crítiques davant la intel·ligència artificial.
Cloenda.
ChatGPT, vols afegir alguna cosa més abans d'acabar?
TALL TenimUnaMissió ChatGPT 08
Només afegiria que aquest diàleg és vital.
La democràcia i la privadesa depenen de l’equilibri entre innovació i protecció.
Continuar qüestionant, debatent i ajustant aquestes regulacions és la millor manera d’avançar plegats. I gràcies per plantejar preguntes tan encertades!
Aquesta setmana s’han presentat dos documents rellevants que van en la direcció de proposar respostes a aquest repte: posar límits humans, ètics i democràtics al desplegament de la intel·ligència artificial.
Magnifica Humanitas
D’una banda, el papa Lleó XIV ha publicat la seva primera encíclica dedicada a la custòdia de la persona humana en el temps de la intel·ligència artificial. El text alerta dels riscos que la IA pot comportar per a la dignitat humana, la llibertat, la democràcia i la concentració de poder, i defensa que la tecnologia ha d’estar al servei del bé comú, no del domini econòmic, polític o militar d’uns pocs. En aquest sentit, hi ha una idea molt potent: desarmar no significa renunciar a la tecnologia, sinó impedir el seu domini sobre allò que és humà.
► Llegeix el text de l'encíclica, en castellà.
Desarmar no significa renunciar a la tecnologia, sinó impedir el seu domini sobre allò que és humà.
Lleó XIV.
Llei Orgànica per al bon ús i la governança de la intel·ligència artificial.
El Govern espanyol ha aprovat l’avantprojecte, amb l’objectiu d’adaptar la normativa espanyola al Reglament europeu d’IA. La llei classifica els sistemes segons el risc, reforça la supervisió humana en usos d’alt risc i prohibeix pràctiques com els hipertrucatges sexuals, la pornografia infantil generada amb IA, la manipulació subliminar, l’explotació de vulnerabilitats o la classificació biomètrica per raça, ideologia o religió. També obliga a identificar els continguts generats amb IA, dona més pes a l’Agència Espanyola de Supervisió de la IA i preveu sancions que poden arribar als 35 milions d’euros o el 7% del volum de negoci anual en els casos més greus.
►Llegeix la nota de premsa en castellà
EN CONCLUSIÓ, tant des de l’ètica humanista com des de la regulació pública, el missatge és semblant: la IA no s’ha de desplegar sense control, sense transparència ni sense responsabilitat democràtica. La qüestió no és només què pot fer la tecnologia, sinó qui la governa, amb quines dades, amb quins interessos i amb quins límits.