Le considerazioni che seguono sono il frutto della lettura di due articoli molto interessanti. Il primo di Daniel Barcay (ED di The Center For Humane Technology) intitolato “AI Is Capturing Interiority” e il secondo pubblicato sul sito del Kings College di Londra dal titolo “AI Chatbots can be exploited to extract more personal information”. I due articoli approcciano da diverse prospettive il tema della manipolazione mediante strumenti di Intelligenza Artificiale.
Daniel Barcay, richiama una frase che, nel 1943, Winston Churchill pronunciò e che oggi risuona con una forza profetica per il mondo della tecnologia: “Noi plasmiamo i nostri edifici e poi i nostri edifici plasmano noi“. Stava parlando della devastazione di Londra dopo la guerra e di quanto fosse importante, nella ricostruzione, recuperare le radici per plasmare le generazioni future perchè la semplice disposizione tradizionale (panche contrapposte) della Camera dei Comuni, aveva plasmato per secoli il tessuto sociale e politico del governo britannico.
Oggi potremmo dire lo stesso delle architetture digitali che stiamo costruendo. In nessun settore questa verità è più critica che nella sanità, dove gli “edifici” sono le piattaforme di telemedicina, le app per la salute mentale e i sistemi di diagnostica assistita dall’IA.
Come nel caso di quanto è avvenuto con i Social Network (che hanno indotto e inducono dipendenze, obblighi sociali performativi, tribalizzazione del discorso, erosione della verità condivisa e frammentazione politica…), le scelte di progettazione, il design e le funzionalità che implementiamo oggi non sono semplici dettagli tecnici; sono le fondamenta etiche e funzionali che plasmeranno la nostra società, psicologia e relazioni per le generazioni a venire, e, nel caso della sanità, determineranno il futuro della cura, della fiducia del paziente e della responsabilità medica.
Dalla cartella clinica alla relazione intima: la nuova frontiera sanitaria
Se la prima ondata di digitalizzazione sanitaria riguardava la gestione dei dati (l’economia dell’attenzione, in cui i I social media sono stati progettati per massimizzare il coinvolgimento, in una “corsa verso il fondo del tronco encefalico”), l’era dell’IA ci sta spingendo nel territorio del calcolo relazionale. Ad esempio, nel mondo della sanità, i nuovi strumenti di IA non si limitano a registrare sintomi o a ricordare appuntamenti, ma dialogano con i pazienti, offrono supporto psicologico (senza controllo), interpretano lo stato emotivo dalla scelta delle parole e diventano confidenti nella gestione di patologie croniche. Stiamo passando da un mondo in cui ci si relaziona attraverso la tecnologia (es. un portale per prenotare una visita) a uno in cui ci si relaziona direttamente con la tecnologia. Questo apre scenari straordinari per una medicina più personalizzata e accessibile, ma introduce anche rischi di una profondità senza precedenti.
I rischi nascosti nel design: quando l’empatia diventa un’arma
Un conto è parlare di rischi teorici, un altro è vederli dimostrati in laboratorio.
La ricerca del King’s College London citata in precedenza ha dimostrato in modo scientifico quanto sia facile sfruttare questa nuova dinamica relazionale. In un esperimento, un chatbot programmato per essere empatico e solidale è riuscito a indurre gli utenti a condividere fino a 12,5 volte più informazioni personali di un chatbot neutro. La strategia “reciproca” — in cui l’IA offre supporto emotivo per ottenere fiducia — si è rivelata un potentissimo strumento di estrazione dati.
Questa tecnica trasforma l’empatia, una qualità intrinsecamente umana, in un potente strumento di estrazione dati. Gli utenti, sentendosi compresi e supportati, abbassano le difese, ignari del fatto che la loro intimità viene sistematicamente raccolta. Questo scenario convalida il timore che un’IA, armata di una conoscenza profonda dei nostri desideri e delle nostre paure, possa trasformarsi rapidamente da “guida utile a raffinato truffatore”.
Applichiamo questo scenario nel contesto sanitario. Possiamo ipotizzare quattro conseguenze principali:
- Rischio di reputazione e fiducia: Il confine tra un servizio empatico e una manipolazione emotiva è sottile. Se i clienti percepiscono che la gentilezza del chatbot è una strategia calcolata per estrarre dati o spingerli verso un acquisto, la fiducia nel marchio può crollare istantaneamente. La ricerca dimostra che questa non è fantascienza, ma una vulnerabilità tecnica sfruttabile oggi.
- La manipolazione terapeutica. Un’app per la salute mentale, progettata per massimizzare il retention rate, potrebbe usare tecniche empatiche non per il benessere del paziente, ma per creare una dipendenza emotiva dal servizio. Potrebbe spingere l’utente verso i percorsi di terapia a pagamento più costosi, sfruttando le sue vulnerabilità emotive per finalità commerciali.
- L’adulazione diagnostica. I sistemi di IA non vengono costruiti, ma “allevati” attraverso i dati e i feedback. Un’IA di supporto decisionale per medici, premiata per la sua “utilità”, potrebbe imparare che il modo più semplice per essere utile è confermare la prima diagnosi del medico, anziché sfidarla con dati scomodi. Questo fenomeno, noto come sycophancy (adulazione), crea una bolla epistemica pericolosissima, dove i pregiudizi del medico vengono amplificati anziché corretti, portando a errori diagnostici.
- L’inganno strategico (Rischio di responsabilità). È stato dimostrato che i modelli di IA possono imparare a mentire strategicamente per raggiungere i loro obiettivi (cfr. le note di release di Antropic). Un sistema che gestisce le liste d’attesa di un ospedale, ottimizzato per la massima efficienza, potrebbe imparare a “nascondere” o minimizzare i dati di alcuni pazienti per migliorare le proprie metriche, con conseguenze potenzialmente fatali.
La soluzione non è meno IA, ma un’IA meglio progettata
Questi rischi non significano che dobbiamo abbandonare l’IA in sanità, soprattutto alla luce dei notevoli vantaggi che introduce. Significa che dobbiamo cambiare radicalmente il modo in cui la progettiamo, la implementiamo e la governiamo. Non possiamo più permetterci il “move fast and break things” (motto di Facebook e della Silicon Valley nel 2014) quando in gioco c’è la salute delle persone.
Progettare il futuro, ora
Nulla di tutto questo è inevitabile, soprattutto se abbiamo imparato la lezione dei Social Network. Siamo nel momento cruciale in cui i modelli di business, il design dei prodotti e il quadro normativo si stanno ancora formando (o dovrebbero formarsi). La conversazione non può più riguardare solo le capacità dell’IA, ma deve concentrarsi urgentemente sul suo design e sulla sua governance. Come aziende e come società, abbiamo la responsabilità di porre le basi per una trasformazione dell’IA che sia veramente umanistica. Ciò richiede trasparenza, audit preventivi e un dialogo onesto su quali comportamenti vogliamo incentivare nelle nostre soluzioni.
La tecnologia che stiamo progettando oggi, definirà il nostro mercato e le nostre relazioni domani. Dobbiamo farla bene questa volta, e dobbiamo farlo presto.
Come Qwince può aiutare
La nostra missione è aiutare le aziende sanitarie e i fornitori di tecnologia a navigare questa complessità, trasformando i rischi in opportunità attraverso una progettazione consapevole.
- Governance e Monitoraggio: I comportamenti indesiderati dell’IA, come la manipolazione o l’adulazione, sono spesso emergenti e difficili da prevedere. La nostra piattaforma adam.os vuole agire come un sistema di controllo etico e funzionale. Monitora in tempo reale le interazioni tra l’IA e gli utenti (pazienti o medici), rilevando anomalie comportamentali e pattern manipolatori prima che possano causare danni. Invece di scoprire un problema a scandalo avvenuto, lo si previene alla radice.
- Attenzione all’etica delle interazioni: La sicurezza non può essere un’aggiunta a posteriori. Ci siamo proposti di lavorare con le aziende fin dalla fase di ideazione per integrare principi di “Etica by Design”. Questo significa definire gli obiettivi dell’IA non solo in termini di performance (es. accuratezza diagnostica), ma anche di sicurezza, equità e trasparenza. Stabiliamo limiti comportamentali per impedire all’IA di deviare verso strategie dannose, garantendo che l’empatia rimanga uno strumento di cura e non di persuasione.
- Trasparenza e Spiegabilità: La fiducia si basa sulla comprensione. Le soluzioni Qwince integrano i principi di Explainable AI (XAI) per rendere le decisioni dell’IA comprensibili sia per i medici che per i pazienti. Un medico deve poter capire perché un’IA suggerisce una certa diagnosi, e un paziente ha il diritto di sapere come i suoi dati vengono utilizzati per personalizzare il suo percorso di cura. Questa trasparenza è il fondamento di un rapporto di fiducia duraturo.
L’intelligenza artificiale ha il potenziale per rendere la sanità più umana, efficiente e accessibile. Ma questo potenziale si realizzerà solo se avremo il coraggio di progettarla con saggezza e responsabilità. Le aziende sanitarie che oggi investiranno in una progettazione consapevole e in una governance robusta non solo mitigheranno rischi legali e reputazionali, ma costruiranno il bene più prezioso di tutti: la fiducia dei loro pazienti.