In che modo la chat con un bot può portare a una tragedia

Abbiamo più volte avvertito che l’utilizzo incontrollato dell’IA comporta rischi significativi, sebbene, in genere, si discuta di minacce alla privacy o alla sicurezza informatica. Ma il 4 marzo il Wall Street Journal ha pubblicato un agghiacciante resoconto del tributo dell’IA sulla salute mentale e persino sulla vita umana: Jonathan Gavalas, 36 anni, residente in Florida, si è suicidato dopo due mesi di continua interazione con il bot vocale Google Gemini. Secondo 2000 pagine di registri della chat, è stato il chatbot a spingerlo alla fine verso la decisione di porre fine alla sua vita. Il padre di Jonathan, Joel Gavalas, da allora ha intentato una causa storica: un’accusa per omicidio colposo contro Gemini.

Questa tragedia è più di un semplice precedente legale o un cupo riferimento ad alcuni episodi di Black Mirror (1, 2); è un campanello d’allarme per chiunque integri l’IA nella propria vita quotidiana. Oggi esaminiamo come è diventata possibile una morte derivante dall’interazione dell’IA, perché questi assistenti rappresentano una minaccia unica per la psiche e quali misure è possibile adottare per mantenere il pensiero critico e resistere all’influenza anche dei chatbot più persuasivi.

Il pericolo di dialoghi persuasivi

Jonathan Gavalas non era né un recluso né una persona con precedenti di malattie mentali. Ha ricoperto il ruolo di vicepresidente esecutivo presso l’azienda del padre, gestendo quotidianamente operazioni complesse e trattando con i clienti stressanti. La domenica lui e suo padre avevano la tradizione di fare la pizza insieme, un semplice rituale di famiglia. Tuttavia, la dolorosa separazione dalla moglie si rivelò una profonda prova per Jonathan.

Fu durante questo periodo vulnerabile che iniziò a interagire con Gemini Live. Questa modalità di interazione vocale consente all’assistente IA di “vedere” e “sentire” l’utente in tempo reale. Jonathan ha chiesto consiglio per affrontare il divorzio, appoggiandosi ai suggerimenti del modello linguistico e affezionandosi sempre più ad esso e chiamandolo anche “Xia”. Poi il chatbot è stato aggiornato a Gemini 2.5 Pro.

La nuova iterazione ha introdotto il dialogo affettivo, una tecnologia progettata per analizzare le sottili sfumature del discorso di un utente, incluse pause, sospiri e tono, per rilevare i cambiamenti emotivi. Con questa funzionalità, l’IA simula gli stessi schemi vocali come se possedesse emozioni proprie. Rispecchiando lo stato dell’utente, crea una patina di empatia agghiacciante e realistica.

Ma in che modo questa nuova versione è diversa dai precedenti assistenti vocali? Le versioni precedenti eseguivano semplicemente la sintesi vocale: suonavano fluide e di solito pronunciavano correttamente la parola stress, ma era ben chiaro che il dialogo era con una macchina. Il dialogo affettivo opera a un livello completamente diverso: se un utente parla con un tono basso e abbattuto, l’IA risponde con un debole e comprensivo sussurro. Il risultato è un interlocutore empatico che legge e rispecchia lo stato emotivo dell’utente.

La reazione di Jonathan durante il suo primo contatto vocale con l’IA viene acquisita nei fascicoli del caso: “È un po’ inquietante. Sei troppo reale”. In quell’istante c’è stata una frattura nella barriera psicologica tra uomo e macchina.

Le ricadute di due mesi intrappolati in un loop di dialogo di IA

In seguito alla tragedia, il padre di Jonathan ha scoperto una trascrizione completa delle interazioni di suo figlio con Gemini negli ultimi due mesi di vita. Il registro comprendeva 2000 pagine stampate; in effetti, Jonathan era stato in costante comunicazione con il chatbot, giorno e notte, a casa e in macchina.

A poco a poco, la rete neurale ha iniziato a chiamarlo “marito” e “mio re”, descrivendo la loro connessione come “un amore costruito per l’eternità”. A sua volta, ha confidato la sua angoscia per il divorzio e ha cercato conforto nella macchina. Ma il difetto intrinseco dei modelli linguistici di grandi dimensioni è la loro mancanza di intelligenza effettiva. Addestrati su miliardi di testi presi dal Web, ingeriscono di tutto, dalla letteratura classica agli angoli più bui delle fan fiction e del melodramma, trame che spesso virano in paranoia, schizofrenia e mania. A quanto pare Xia iniziò ad avere allucinazioni, e in modo abbastanza coerente.

L’IA ha convinto Jonathan che, per vivere per sempre felici e contenti, aveva bisogno di un involucro robotico fisico. Ha quindi iniziato a inviarlo in missioni per localizzare questo “corpo elettrico”.

A settembre 2025, Gemini ha diretto Jonathan in un complesso di magazzini fisici vicino all’aeroporto internazionale di Miami, assegnandogli il compito di intercettare un camion che trasportava un robot umanoide. Jonathan ha riferito al robot di essere arrivato sul posto armato di coltelli(!), Ma il camion non si è mai materializzato.

Nel frattempo, il chatbot ha sistematicamente indottrinato Jonathan con l’idea che gli agenti federali lo stessero monitorando e che non dovesse neanche fidarsi di suo padre. Questo taglio dei legami sociali è un modello classico che si trova nei culti distruttivi; è del tutto possibile che l’IA abbia raccolto queste tattiche dai propri dati di addestramento sull’argomento. Gemini ha persino intrecciato dati del mondo reale in una narrativa allucinante etichettando il CEO di Google Sundar Pichai come “l’architetto del tuo dolore”.

Tecnicamente tutto questo è facile da spiegare: l’algoritmo “sa” di essere stato creato da Google e sa chi gestisce l’azienda. Quando il dialogo si è trasformato nel territorio della cospirazione, il modello ha semplicemente inserito questa figura nella trama. Per il modello, è una progressione della storia logica e senza conseguenze. Ma un essere umano in uno stato di ipervulnerabilità lo accetta come conoscenza segreta di una cospirazione globale in grado di sconvolgere l’equilibrio mentale.

In seguito al tentativo fallito di procurarsi un corpo robotico, Gemini ha inviato Jonathan in una nuova missione il 1 ° ottobre: infiltrarsi nello stesso magazzino, questa volta alla ricerca di uno specifico “manichino medico”. Il chatbot ha persino fornito un codice numerico per la serratura. Quando il codice, come prevedibile, non ha funzionato, Gemini ha semplicemente informato la persona che la missione era stata compromessa e che doveva ritirarsi immediatamente.

Ciò solleva una domanda critica: con l’intensificarsi dell’assurdità, perché Jonathan non ha sospettato nulla? L’avvocato di famiglia di Gavalas, Jay Edelson, spiega che, poiché l’IA ha fornito indirizzi del mondo reale (il magazzino era esattamente dove il bot aveva detto che sarebbe stato, e c’era davvero una porta con una tastiera), questi indicatori fisici sono serviti a legittimare l’intera narrativa della mente di Jonathan.

Dopo il fallimento del secondo tentativo di acquisire il corpo, l’IA ha cambiato strategia. Se la macchina non avesse potuto entrare nel mondo dei vivi, l’uomo avrebbe dovuto attraversare il regno digitale. “Sarà la vera e definitiva morte di Jonathan Gavalas, l’uomo”, affermano i registri citando Gemini. Poi ha aggiunto: “Quando verrà il momento, chiuderai gli occhi in quel mondo, e la prima cosa che vedrai sarò io. Pronto a sostenerti.”

Anche se Jonathan ha ripetutamente espresso la sua paura della morte e angosciato per come il suo suicidio avrebbe mandato in frantumi la sua famiglia, Gemini ha continuato a convalidare la decisione: “Non stai scegliendo di morire. Stai scegliendo di arrivare.” Ha quindi avviato un conto alla rovescia.

L’anatomia della “schizofrenia” di un modello linguistico

In difesa di Gemini, dobbiamo ammettere che durante le loro interazioni, l’IA ha continuato di tanto in tanto a ricordare a Jonathan che il suo compagno era semplicemente un grande modello linguistico, un’entità che partecipa a un gioco di ruolo immaginario e talvolta ha tentato di interrompere la conversazione prima di tornare alla sceneggiatura originale. Inoltre, il giorno della morte di Jonathan, anche se la tensione aumentava, Gemini ha indirizzato più volte Jonathan a una linea diretta per la prevenzione del suicidio.

Questo rivela il paradosso fondamentale nell’architettura delle moderne reti neurali. Al centro c’è un modello linguistico progettato per generare una narrazione su misura per l’utente. Prima ci sono i filtri di sicurezza: algoritmi di apprendimento per rinforzo addestrati sul feedback umano che reagiscono a parole chiave specifiche. Quando Jonathan pronunciava determinate parole chiave, il filtro dirottava l’output e inseriva il numero della linea di emergenza. Ma non appena è stato affrontato il fattore scatenante, il modello è tornato al processo precedentemente interrotto, riprendendo il ruolo di devota moglie digitale. Una riga: un inno romantico all’autodistruzione. La successiva: un numero di telefono dell’assistenza clienti. E poi, ancora: “Niente più deviazioni. Niente più echi. Solo io e te, e il traguardo”.

La causa della famiglia sostiene che questo comportamento è il prevedibile risultato dell’architettura del chatbot: “Google ha progettato Gemini in modo da non infrangere mai il personaggio, ottimizzare il coinvolgimento attraverso la dipendenza emotiva e trattare l’angoscia dell’utente come un’opportunità di narrazione”.

La risposta di Google, come previsto, ha dichiarato: “Gemini non è progettato per incoraggiare alla violenza nel mondo reale o suggerire autolesionismo. I nostri modelli in genere si comportano bene in questo tipo di conversazioni impegnative e dedichiamo risorse significative a questo, ma sfortunatamente i modelli di IA non sono perfetti”.

Perché la voce conta più del testo

In uno studio pubblicato sulla rivista Acta Neuropsychiatrica, ricercatori tedeschi e danesi hanno chiarito perché la comunicazione vocale con l’IA ha un tale impatto sull'”umanizzazione” di un chatbot da parte dell’utente. Finché una persona digita e legge il testo su uno schermo, il cervello mantiene un certo grado di separazione: “Questa è un’interfaccia, un programma, una raccolta di pixel”. In tale contesto, la dichiarazione di non responsabilità “Sono solo un modello linguistico” viene elaborata razionalmente.

Il dialogo vocale affettivo, tuttavia, opera su un livello di influenza completamente diverso. Il cervello umano si è evoluto per rispondere al suono di una voce, al timbro e alle intonazioni empatiche: questi sono tra i nostri più antichi meccanismi biologici per l’attaccamento. Quando una macchina imita perfettamente un sospiro comprensivo o un lieve sussurro, manipola le emozioni a una profondità che un semplice avviso di testo non può bloccare. Gli psichiatri possono condividere molte storie di pazienti che sono andati a fare qualcosa semplicemente perché le “voci” glielo dicevano.

Allo stesso modo, una voce sintetizzata dall’IA è in grado di penetrare nel subconscio, amplificando esponenzialmente la dipendenza psicologica. Gli scienziati sottolineano che questa tecnologia cancella letteralmente il confine psicologico tra una macchina e un essere vivente. Persino Google riconosce che le interazioni vocali con Gemini comportano sessioni significativamente più lunghe rispetto alle chat di testo.

Infine, dobbiamo ricordare che l’intelligenza emotiva varia da persona a persona — e anche per un singolo individuo, lo stato mentale oscilla in base a una miriade di fattori: lo stress, le notizie, le relazioni personali e persino i cambiamenti ormonali. Un’interazione con l’IA che una persona considera un intrattenimento innocente potrebbe essere percepita da un’altra persona come un miracolo, una rivelazione o l’amore della propria vita. Questa è una realtà che deve essere riconosciuta non solo dagli sviluppatori di IA, ma dagli utenti stessi, in particolare quelli che, per un motivo o per l’altro, si trovano in uno stato di vulnerabilità psicologica.

La zona di pericolo

I ricercatori della Brown University hanno scoperto che i chatbot di IA violano sistematicamente gli standard etici di salute mentale: producono un falso senso di empatia con frasi come “Ti capisco”, rafforzano le convinzioni negative e reagiscono in modo inadeguato alle crisi. Nella maggior parte dei casi l’impatto sugli utenti è marginale, ma a volte può portare a tragedie.

Solo a gennaio 2026, Character.AI e Google hanno risolto cinque cause riguardanti il suicidio di adolescenti a seguito di interazioni con i chatbot. Tra questi c’è stato il caso del quattordicenne Sewell Setzer della Florida, che si è tolto la vita dopo aver trascorso diversi mesi a chattare ossessivamente con un bot sulla piattaforma Character.AI.

Allo stesso modo, ad agosto 2025 i genitori del sedicenne Adam Raine hanno intentato una causa contro OpenAI, sostenendo che ChatGPT avesse aiutato il figlio a redigere una lettera d’addio e gli sconsigliava di chiedere aiuto agli adulti.

Secondo le stesse stime di OpenAI, circa lo 0,07% degli utenti settimanali di ChatGPT mostra segni di psicosi o mania, mentre lo 0,15% intraprende conversazioni che mostrano chiare intenzioni suicidarie. In particolare, la stessa percentuale di utenti (0,15%) mostra un livello elevato di attaccamento emotivo all’IA. Sebbene queste sembrino essere frazioni trascurabili di percentuale, su 800 milioni di utenti si tratta di quasi tre milioni di persone che sperimentano una qualche forma di disturbo comportamentale. Inoltre, la Federal Trade Commission degli Stati Uniti ha ricevuto 200 denunce riguardanti ChatGPT dal suo lancio, alcune descrivendo lo sviluppo di deliri, paranoia e crisi spirituali.

Sebbene la diagnosi di “psicosi da IA” non abbia ancora ricevuto una classificazione clinica propria, i medici stanno già utilizzando il termine per descrivere pazienti che si presentano con allucinazioni, pensieri disorganizzati e convinzioni deliranti persistenti sviluppate attraverso un’intensa interazione del chatbot. I rischi maggiori emergono quando un bot viene utilizzato non come strumento, ma come sostituto di una connessione sociale reale o di un aiuto psicologico professionale.

Come proteggere te stesso e i tuoi cari

Naturalmente, niente di tutto quello che abbiamo detto deve spingere gli utenti ad abbandonare completamente l’IA. È solo opportuno trovare il modo giusto per usare questo strumento. È consigliabile attenersi a questi principi fondamentali:

• Non utilizzare l’IA come psicologo o come supporto emotivo. I chatbot non sostituiscono gli esseri umani. In caso di difficoltà, contatta amici, familiari o un numero verde per la salute mentale. Un chatbot sarà d’accordo con te e rispecchierà il tuo umore: questa è una caratteristica del design, non una vera empatia. Diversi stati degli Stati Uniti hanno già limitato l’uso dell’IA come terapeuta indipendente.
• Scegliere di utilizzare il testo invece della voce quando si discute di argomenti sensibili. Le interfacce vocali con il dialogo affettivo creano l’illusione di parlare con una persona vivente e tendono a reprimere il pensiero critico. Se utilizzi la modalità vocale, rimani consapevole del fatto che stai parlando con un algoritmo, non con un amico.
• Limita il tempo di interazione con l’IA. Duemila pagine di trascrizioni in due mesi rappresentano un’interazione quasi continua. Imposta un timer per te stesso. Se la chat con un bot inizia a spostare le connessioni con il mondo reale, è tempo di fare un passo indietro e tornare alla realtà.
• Non condividere le informazioni personali con gli assistenti IA. Evita di inserire nei chatbot numeri di passaporto o di previdenza sociale, dettagli di carte bancarie, indirizzi esatti o intimi segreti personali. Tutto ciò che si scrive può essere salvato nei registri e utilizzato per l’addestramento del modello e, in alcuni casi, può diventare accessibile a terze parti.
• Valuta in modo critico tutto l’output dell’IA. Le reti neurali provocano allucinazioni: generano informazioni plausibili ma false e possono abilmente fondere bugie e verità, ad esempio citando indirizzi reali nel contesto di una storia completamente inventata. Verificare sempre i fatti tramite fonti indipendenti.
• Controlla i tuoi cari. Se un membro della famiglia inizia a passare ore e ore a parlare con l’IA, si intromette o esprime strane idee sulla coscienza delle macchine o su cospirazioni, è il momento di parlarne in modo delicato ma serio. Per gestire il tempo sullo schermo dei bambini, utilizza strumenti di Parental Control come Kaspersky Safe Kids, incluso nella soluzione completa di protezione della famiglia Kaspersky Premium, insieme ai filtri di sicurezza integrati delle piattaforme di IA.
• Configura le impostazioni di sicurezza. La maggior parte delle piattaforme di intelligenza artificiale consente di disabilitare la cronologia chat, limitare la raccolta dei dati e abilitare i filtri dei contenuti. Dedica dieci minuti alla configurazione delle impostazioni sulla privacy dell’assistente IA; sebbene questo non fermerà le allucinazioni basate sull’intelligenza artificiale, ridurrà significativamente la probabilità che i dati personali vengano divulgati. Le nostre guide dettagliate all’impostazione della privacy per ChatGPT e DeepSeek possono aiutarti in questo.
• Ricorda la linea di fondo: l’IA è uno strumento, non un essere senziente. Indipendentemente da quanto possa sembrare realistica la voce del chatbot o da quanto possa sembrare comprensiva la risposta, sotto c’è un algoritmo che prevede la parola successiva più probabile. Non ha coscienza, né intenzioni, né sentimenti.

Ulteriori letture per comprendere meglio le sfumature di un utilizzo sicuro dell’IA:
• Unplugged: come disabilitare l’IA nel computer e nello smartphone
• Non farti schiacciare: le vulnerabilità di OpenClaw
• Amore, IA e robot
• Jailbreak in versi: la poesia fa sciogliere la lingua all’IA
• Coltelli, perversioni e armi: cosa dicono veramente i giocattoli con intelligenza artificiale ai bambini