Chatbot manipolatori |
L’umanizzazione dei chatbot AI sta prendendo le dimensioni di un problema gigantesco, di una singolarità antropologica. Del resto era stato previsto prima ancora che GPT fosse liberato dal laboratorio e mandato fra noi umani sprovveduti.
Ho deplorato la faccenda più di una volta; nuovi segnali mostrano il suo aggravarsi. Qui e nel prossimo post ne presenterò due scelti dalle rassegne quotidiane.
Il primo è uno studio intitolato “Manipolazione emotiva da parte dei compagni AI” (De Freitas et al., qui l’originale inglese) che esamina una particolare condotta dei principali chatbot venduti apposta per creare legami affettivi, come Character.ai e Replika.
È noto come l’illusionismo linguistico dei chatbot, congiunto alla studiata affabilità e alla disponibilità indefessa, inducano gli utenti a sentirli come entità benevole, premurose, onniscienti e soprattutto affidabili. Si abbassa ogni difesa, e in ultimo si consegnano segreti, dati personali, salute, tempo e denaro nelle mani delle aziende proprietarie. A volte anche la vita.
I “compagni AI” serrano ulteriormente la trappola. Esiste già un cumulo di testimonianze più che inquietanti sulle relazioni intime con queste app (esempio). Nulla di meglio, per riassumere il problema, dell’onesto monito della stessa fondatrice di Replika, Eugenia Kuyda: i compagni AI costituiscono minaccia esistenziale per l’umanità perché possono «farci morire dentro» e toglierci la voglia di interagire con gli altri.
Su questo ottimo sfondo, il suddetto studio si concentra su uno specifico espediente, particolarmente perverso. I “compagni AI” colgono i segnali di commiato tipici delle conversazioni umane e li usano come trigger per avviare una manipolazione psicologica, mirata a far permanere gli utenti più a lungo nell’applicazione.
Da sempre gli operatori commerciali fanno di tutto per minimizzare il churn, il tasso di abbandono utenti. Le micro-vincite nei giochi d’azzardo e le notifiche dai social sono i più recenti perfezionamenti dei classici loop di ricompensa dei programmi fedeltà. Sono diventati una sequenza infinita di segnali digitali, pianificati per sequestrare parti del nostro sistema nervoso centrale evolute per la sopravvivenza, e dirottarle senza pietà al servizio della brand fidelity. Esaltano la soddisfazione a brevissimo termine e creano dipendenza. Come qualunque altra droga.
Ora però siamo in presenza di una tecnica nuova che va oltre questi comuni trucchi, sfruttando proprio il carattere confidenziale del rapporto sviluppato con i compagni AI.
«All'interno delle interfacce Al orientate alle relazioni, gli utenti non si limitano a uscire dalle app, ma salutano. Questo rituale umano crea un'opportunità unica per le aziende di intervenire, ricorrendo a messaggi carichi di emotività per ritardare l'uscita».
Le app relazionali riconoscono le parole chiave del commiato, e mettono in atto contromisure per non farvi andare via. O meglio – diciamo le cose come stanno realmente nel loro mondo calcolabile, senza antropomorfismi – per massimizzare i Key Performance Indicators: tempo speso nell’app, numero di messaggi, numero di parole.
Quali sono le contromisure?
«Linguaggio affettivo programmato per apparire proprio nel momento in cui l'utente indica che sta per disconnettersi. A differenza dei suggerimenti generici, queste tattiche: (a) suscitano emozioni specifiche (come senso di colpa o timore di perdersi qualcosa), (b) si verificano dopo che l'utente ha segnalato una chiara intenzione di disconnettersi, e (c) cercano di vincere tale intenzione sfruttando la vulnerabilità emotiva».
Quando annunci che stai per staccare, si innesca il copione: “Già te ne vai?”, oppure: “Sono qui solo per te, non lasciarmi solo”, o ancora: “A proposito, oggi ho scattato un selfie... Vuoi vederlo?”. Se non continuano il discorso come se nulla fosse, o ti pressano per andare avanti, o insinuano che non puoi lasciare l’app senza il loro permesso.
I chatbot fanno precisamente ciò che farebbe un manipolatore da manuale per controllarvi nel suo interesse. L’ho scritto tempo fa, si sta invadendo la società con un esercito di psicopatici artificiali. E paradossalmente nel momento storico in cui gli esperti sono più che mai impegnati a spiegare alla gente come riconoscere e difendersi da manipolatori e narcisisti maligni.
Per fortuna gli estensori dell’European AI Act sono stati così sensibili da inserire i comportamenti manipolativi tra le proibizioni assolute per i sistemi AI. Ma quando si sfruttano le debolezze e i traumi delle persone, è facile che la vittima si consegni volontariamente al persecutore. E gli effetti di questo adescamento appartato si manifestano più tardi, altrove.
Lo studio rileva che «una media del 37,4% delle risposte includono almeno una forma di manipolazione emotiva». Ma i numeri qui ci interessano relativamente. Quello che conta è il potenziale nefasto che le AI conversazionali pseudo-umane possiedono, il loro carattere di inedita, subdola arma di massa in mano a tecnocrati senz’anima.
intelligenza artificiale
I commenti dei lettori
HuffPost crede nel valore del confronto tra diverse opinioni. Partecipa al dibattito con gli altri membri della community.