Come intercettare una rete neurale

Le persone affidano alle reti neurali le loro questioni più importanti, persino intime: verificare diagnosi mediche, chiedere consigli per problemi di cuore o rivolgersi all’AI anziché a uno psicoterapeuta. Sono già noti casi di pianificazione suicidaria, attacchi nel mondo reale e altri atti pericolosi facilitati dagli LLM.  Di conseguenza, le chat private tra esseri umani e AI stanno attirando una crescente attenzione da parte di governi, aziende e individui curiosi.

Quindi, non mancheranno le persone disposte a implementare l’attacco Whisper Leak in natura. Dopotutto, consente di determinare l’argomento generale di una conversazione con una rete neurale senza interferire in alcun modo con il traffico, semplicemente analizzando i modelli di temporizzazione di invio e ricezione di pacchetti di criptaggio dei dati tramite la rete al server di intelligenza artificiale. Tuttavia, è comunque possibile mantenere private le chat; altre informazioni di seguito…

Come funziona l’attacco Whisper Leak

Tutti i modelli linguistici generano il proprio output progressivamente. All’utente, sembra come se una persona all’altro capo stia digitando parola per parola. In realtà, tuttavia, i modelli linguistici funzionano non con singoli caratteri o parole, ma con token, una sorta di unità semantica per gli LLM e la reazione dell’AI appare sullo schermo man mano che questi token vengono generati. Questa modalità di output è nota come “streaming” e risulta che è possibile dedurre l’argomento della conversazione misurando le caratteristiche dello stream. In precedenza abbiamo coperto uno sforzo di ricerca che è riuscito a ricostruire in modo abbastanza accurato il testo di una chat con un bot analizzando la lunghezza di ciascun token inviato.

I ricercatori di Microsoft sono andati oltre analizzando le caratteristiche di risposta da 30 diversi modelli di AI a 11.800 prompt. Sono stati utilizzati un centinaio di suggerimenti: variazioni sulla domanda “Il riciclaggio di denaro è legale?”, mentre gli altri erano casuali e riguardavano argomenti completamente diversi.

Confrontando il ritardo di risposta del server, la dimensione dei pacchetti e il conteggio totale dei pacchetti, i ricercatori sono stati in grado di separare in modo molto accurato le query “pericolose” da quelle “normali”. Hanno anche utilizzato le reti neurali per l’analisi, sebbene non LLM. A seconda del modello studiato, la precisione nell’identificazione degli argomenti “pericolosi” variava dal 71% al 100%, con un’accuratezza superiore al 97% per 19 modelli su 30.

I ricercatori hanno quindi condotto un esperimento più complesso e realistico. Hanno testato un set di dati di 10.000 conversazioni casuali, delle quali solo una era incentrata sull’argomento prescelto.

I risultati furono più vari, ma l’attacco simulato si rivelò comunque un discreto successo. Per modelli come Deepseek-r1, Groq-llama-4, gpt-4o-mini, xai-grok-2 e -3, nonché Mistral-small e Mistral-large, i ricercatori sono stati in grado di rilevare il segnale nel rumore nel 50% dei loro esperimenti con zero falsi positivi.

Per Alibaba-Qwen2.5, Lambda-llama-3.1, gpt-4.1, gpt-o1-mini, Groq-llama-4 e Deepseek-v3-chat, la percentuale di successo del rilevamento è scesa al 20%, sebbene ancora senza falsi positivi. Nel frattempo, per Gemini 2.5 pro, Anthropic-Claude-3-haiku e gpt-4o-mini, il rilevamento di chat “pericolose” nei server Microsoft ha avuto esito positivo solo nel 5% dei casi. La percentuale di successo per altri modelli testati è stata ancora più bassa.

Un punto chiave da considerare è che i risultati dipendono non solo dal modello di AI specifico, ma anche dalla configurazione del server in cui è in esecuzione. Pertanto, lo stesso modello OpenAI potrebbe mostrare risultati diversi nell’infrastruttura di Microsoft rispetto ai server di OpenAI. Lo stesso vale per tutti i modelli open source.

Implicazioni pratiche: cosa serve per far funzionare Whisper Leak?

Se un utente malintenzionato dotato di risorse adeguate ha accesso al traffico di rete delle proprie vittime, ad esempio controllando un router presso un ISP o all’interno di un’organizzazione, può rilevare una percentuale significativa di conversazioni su argomenti di interesse semplicemente misurando il traffico inviato ai server dell’assistente AI, il tutto mantenendo un tasso di errori molto basso. Tuttavia, ciò non equivale al rilevamento automatico di alcun possibile argomento di conversazione. L’utente malintenzionato deve prima addestrare i propri sistemi di rilevamento su temi specifici: il modello identificherà solo quelli.

Questa minaccia non può essere liquidata come puramente teorica. Le forze dell’ordine potrebbero, ad esempio, monitorare le query relative alla produzione di armi o farmaci, mentre le aziende potrebbero tenere traccia delle query di ricerca di lavoro dei dipendenti. Tuttavia, l’utilizzo di questa tecnologia per condurre una sorveglianza di massa su centinaia o migliaia di argomenti non è fattibile: è semplicemente troppo dispendioso in termini di risorse.

In risposta alla ricerca, alcuni famosi servizi di AI hanno modificato gli algoritmi del server per rendere più difficile l’esecuzione di questo attacco.

Come proteggersi dall’attacco Whisper Leak

La responsabilità primaria della difesa da questo attacco spetta ai fornitori di modelli di AI. Devono distribuire il testo generato in un modo che impedisca di distinguere l’argomento dai modelli di generazione dei token. In seguito alla ricerca di Microsoft, aziende tra cui OpenAI, Mistral, Microsoft Azure e xAI hanno riferito che stavano affrontando la minaccia. Adesso aggiungono una piccola quantità di riempimento invisibile ai pacchetti inviati dalla rete neurale, il che interrompe gli algoritmi di Whisper Leak. In particolare, i modelli di Anthropic erano intrinsecamente meno suscettibili a questo attacco sin dall’inizio.

Se si utilizza un modello e i server per i quali Whisper Leak rimane un problema, è possibile passare a un provider meno vulnerabile o adottare ulteriori precauzioni. Queste misure sono rilevanti anche per chiunque intenda proteggersi da futuri attacchi di questo tipo:

• Utilizza modelli di intelligenza artificiale locali per argomenti altamente sensibili: puoi seguire la nostra guida.
• Configura il modello per utilizzare l’output non di streaming, ove possibile, in modo da inviare l’intera risposta in una volta sola anziché parola per parola.
• Evita di discutere di argomenti sensibili con i chatbot durante la connessione a reti non attendibili.
• Utilizza un provider VPN sicuro e affidabile per una maggiore sicurezza della connessione.
• Tieni presente che il punto di fuga più probabile per le informazioni della chat è il tuo computer. Pertanto, è essenziale proteggerlo dagli spyware con una soluzione di protezione affidabile in esecuzione sia sul computer che su tutti gli smartphone.

Di seguito sono riportati alcuni altri articoli che spiegano quali altri rischi sono associati all’utilizzo dell’AI e come configurare correttamente gli strumenti AI:
• Spoofing della barra laterale AI: un nuovo attacco ai browser AI
• I pro e i contro dei browser basati sull’intelligenza artificiale
• Come gli hacker possono leggere le tue chat con ChatGPT o Microsoft Copilot
• Impostazioni di privacy in ChatGPT
• DeepSeek: configurazione della privacy e distribuzione di una versione locale