{"id":28811,"date":"2024-05-13T11:21:41","date_gmt":"2024-05-13T09:21:41","guid":{"rendered":"https:\/\/www.kaspersky.it\/blog\/?p=28811"},"modified":"2024-05-14T11:14:23","modified_gmt":"2024-05-14T09:14:23","slug":"ai-chatbot-side-channel-attack","status":"publish","type":"post","link":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/","title":{"rendered":"Come gli hacker possono leggere le tue chat con ChatGPT o Microsoft Copilot"},"content":{"rendered":"

I ricercatori israeliani di Offensive AI Lab hanno pubblicato un articolo<\/a> che descrive un metodo per ricostruire il testo dei messaggi dei chatbot IA intercettati. Oggi diamo un\u2019occhiata a come funziona questo attacco e quanto sia pericoloso nella realt\u00e0.<\/p>\n

Quali informazioni possono essere estratte dai messaggi di chatbot IA intercettati?<\/h2>\n

I chatbot inviano messaggi in forma criptata, naturalmente. Tuttavia, l\u2019impiego di modelli linguistici di grandi dimensioni<\/a> (LLM, Large Language Models) e dei chatbot basati su di essi sfrutta una serie di funzionalit\u00e0 capaci di indebolire il criptaggio. Insieme, queste funzionalit\u00e0 consentono di eseguire un attacco side-channel<\/a> quando il contenuto di un messaggio viene ricostruito a partire da frammenti di informazioni trapelate.<\/p>\n

Per capire cosa succede durante questo tipo di attacco, dobbiamo vedere pi\u00f9 in dettaglio gli LLM e i meccanismi dei chatbot. La prima<\/strong> cosa da sapere \u00e8 che gli LLM non operano su singoli caratteri o parole in quanto tali, ma su token, paragonabili a unit\u00e0 semantiche di testo. La pagina Tokenizer<\/a> sul sito Web di OpenAI offre uno sguardo sul loro funzionamento.<\/p>\n

\"Esempio<\/a>

Questo esempio dimostra come funziona la tokenizzazione dei messaggi con i modelli GPT-3.5 e GPT-4. Fonte<\/a><\/p><\/div>\n

La seconda<\/strong> caratteristica che agevola questo attacco \u00e8 evidente per chi ha gi\u00e0 avuto modo di interagire con i chatbot IA, le cui risposte infatti non arrivano in blocco, bens\u00ec gradualmente, pi\u00f9 o meno come se una persona le stesse digitando. Ma a differenza di una persona, gli LLM scrivono in token, non in singoli caratteri. I chatbot inviano i token generati in tempo reale, uno dopo l\u2019altro. O meglio, la maggior parte dei chatbot lo fa: l\u2019eccezione \u00e8 Google Gemini, che pertanto risulta invulnerabile a questo attacco.<\/p>\n

La terza<\/strong> particolarit\u00e0 \u00e8 la seguente: al momento della pubblicazione dell\u2019articolo, la maggior parte dei chatbot non utilizzava la compressione, la codifica o il padding<\/a> (l\u2019aggiunta di dati spazzatura a testo significativo per ridurre la prevedibilit\u00e0 e aumentare la forza del criptaggio) prima di criptare un messaggio.<\/p>\n

Gli attacchi side-channel sfruttano tutte e tre queste peculiarit\u00e0. Sebbene i messaggi del chatbot intercettati non possano essere decriptati<\/em>, gli aggressori possono estrarne dati utili, in particolare la lunghezza di ciascun token inviato dal chatbot. Il risultato \u00e8 simile a un gioco enigmistico: non sai esattamente quale sia la frase nascosta, ma solo la lunghezza delle singole parole.<\/p>\n

\"Gli<\/a>

Sebbene sia impossibile decriptare il messaggio, gli aggressori possono estrarre la lunghezza dei token inviati dal chatbot; la sequenza risultante \u00e8 simile a una frase nascosta di cui si conosce la lunghezza delle parole. Fonte<\/a><\/p><\/div>\n

Utilizzo delle informazioni estratte per ripristinare il testo del messaggio<\/h2>\n

Non resta che indovinare quali parole si nascondono dietro i token. E chi \u00e8 bravo a indovinare le cose? Proprio gli LLM<\/a>. Si pu\u00f2 dire anzi che sia questo il loro scopo principale: indovinare le parole giuste in un dato contesto. Quindi, per ripristinare il testo del messaggio originale dalla sequenza risultante delle lunghezze dei token, i ricercatori si sono rivolti a un LLM\u2026<\/p>\n

A due LLM, per la precisione, poich\u00e9 i ricercatori hanno osservato che gli scambi di apertura nelle conversazioni con i chatbot seguono quasi sempre delle formule, e quindi facilmente indovinabili da un modello appositamente addestrato su una serie di messaggi introduttivi generati da modelli linguistici di largo uso. Pertanto, il primo modello viene utilizzato per ripristinare i messaggi introduttivi e passarli al secondo modello, che gestisce il resto della conversazione.<\/p>\n

\"Panoramica<\/a>

Schema generale dell\u2019attacco. Fonte<\/a><\/p><\/div>\n

Ci\u00f2 produce un testo in cui le lunghezze dei token corrispondono a quelle del messaggio originale. Le specifiche parole vengono forzate con vari gradi di successo. Una corrispondenza perfetta tra il messaggio ripristinato e l\u2019originale \u00e8 rara: pi\u00f9 spesso invece accade che una parte del testo non venga indovinata correttamente. A volte il risultato \u00e8 soddisfacente:<\/p>\n

\"Esempio<\/a>

In questo esempio, il testo restaurato \u00e8 abbastanza vicino all\u2019originale. Fonte<\/a><\/p><\/div>\n

Laddove gli esiti siano negativi, il testo ricostruito pu\u00f2 avere poco o nulla a che fare con l\u2019originale. Ad esempio:<\/p>\n

\"Esempio<\/a>

Qui le congetture degli LLM lasciano molto a desiderare. Fonte<\/a><\/p><\/div>\n

Un esempio peggiore:<\/p>\n

\"Esempio<\/a>

Come disse Alice, \u201cnon sono queste le parole giuste, ne sono proprio sicura\u201d. Fonte<\/a><\/p><\/div>\n

In totale, i ricercatori hanno esaminato oltre una dozzina di chatbot IA e hanno trovato la maggior parte vulnerabile a questo attacco, a eccezione di Google Gemini (parente di Bard) e GitHub Copilot (da non confondere con Microsoft Copilot).<\/p>\n

\"Elenco<\/a>

Al momento della pubblicazione dell\u2019articolo, molti chatbot erano vulnerabili all\u2019attacco. Fonte<\/a><\/p><\/div>\n

\u00c8 il caso di preoccuparsi?<\/h2>\n

Prima di tutto, questo attacco \u00e8 retroattivo. Supponiamo che qualcuno si sia preso la briga di intercettare e salvare le tue conversazioni con ChatGPT (non cos\u00ec facile, ma possibile), in cui hai rivelato terribili segreti. In questo caso, utilizzando il metodo sopra descritto, qualcuno sarebbe teoricamente<\/em> in grado di leggere i messaggi.<\/p>\n

Fortunatamente, le probabilit\u00e0 a favore dell\u2019intercettatore non sono molto alte: come fanno notare i ricercatori, l\u2019argomento stesso della conversazione \u00e8 stato determinato solo il 55% delle volte. I casi di ricostruzione riusciti si fermano al 29%. Vale la pena ricordare che i ricercatori stessi si sono dati i criteri per stabilire se una ricostruzione sia riuscita o meno. La seguente, ad esempio, \u00e8 riuscita:<\/p>\n

\"Esempio<\/a>

Esempio di ricostruzione testuale che i ricercatori hanno ritenuto pienamente riuscita. Fonte<\/a><\/p><\/div>\n

Quanto sono importanti queste sfumature semantiche? La valutazione \u00e8, in ultima analisi, soggettiva. Facciamo poi notare che questo metodo non garantisce alcun grado di affidabilit\u00e0 nell\u2019estrarre informazioni specifiche (nomi, valori numerici, date, indirizzi, dettagli di contatto, altre informazioni vitali<\/em>).<\/p>\n

Questo attacco ha inoltre un\u2019altra limitazione non menzionata dai ricercatori: il successo del ripristino del testo dipende molto dalla lingua in cui sono scritti i messaggi intercettati: la tokenizzazione infatti varia notevolmente da lingua a lingua. La ricerca rimane focalizzata sulla lingua inglese, caratterizzata da token molto lunghi che generalmente equivalgono a un\u2019intera parola. Il testo inglese tokenizzato mostra perci\u00f2 ripetizioni peculiari che rendono la ricostruzione relativamente semplice.<\/p>\n

Nessun\u2019altra lingua vi si avvicina. Per le lingue germaniche e romanze, pi\u00f9 vicine all\u2019inglese, la lunghezza media del token \u00e8 1,5-2 volte pi\u00f9 breve, mentre per il russo lo \u00e8 di 2,5 volte: un tipico token russo \u00e8 lungo solo un paio di caratteri, il che verosimilmente ridurr\u00e0 a zero l\u2019efficacia di questo attacco.<\/p>\n

\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Esempi\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTesti in lingue diverse vengono tokenizzati in modo diverso. Un campione in inglese\n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Esempi\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTesti in lingue diverse vengono tokenizzati in modo diverso. Un campione in russo \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Esempi\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTesti in lingue diverse vengono tokenizzati in modo diverso. Un campione in ebraico \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Esempi\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTesti in lingue diverse vengono tokenizzati in modo diverso. Un campione in tedesco \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl><\/div>\n

Almeno due sviluppatori di chatbot IA, Cloudflare e OpenAI, hanno gi\u00e0 reagito all\u2019articolo aggiungendo il metodo di padding sopra menzionato, progettato appositamente per questo tipo di minaccia. Altri sviluppatori di chatbot di intelligenza artificiale sono destinati a seguire l\u2019esempio e, incrociando le dita, le comunicazioni future con i chatbot diventeranno impermeabili a questo attacco.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Come gli hacker sfruttano le funzionalit\u00e0 dei chatbot per ricostruire chat criptate di OpenAI ChatGPT, Microsoft Copilot e molti altri chatbot di intelligenza artificiale<\/p>\n","protected":false},"author":2726,"featured_media":28824,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[2641,2195],"tags":[1516,20,2169,3806,3825,103,2620,1517,3724,5,638,3824,45,753],"class_list":{"0":"post-28811","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-threats","8":"category-technology","9":"tag-ai","10":"tag-attacchi","11":"tag-chatbot","12":"tag-chatgpt","13":"tag-copilot","14":"tag-criptaggio","15":"tag-ia","16":"tag-intelligenza-artificiale","17":"tag-machine-learning","18":"tag-microsoft","19":"tag-minacce","20":"tag-openai","21":"tag-sicurezza","22":"tag-tecnologia"},"hreflang":[{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/ai-chatbot-side-channel-attack\/27365\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/22693\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/11629\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/30042\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/ai-chatbot-side-channel-attack\/27523\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/27340\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/ai-chatbot-side-channel-attack\/37315\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/ai-chatbot-side-channel-attack\/12312\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/51064\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/ai-chatbot-side-channel-attack\/36301\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/ai-chatbot-side-channel-attack\/27666\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/ai-chatbot-side-channel-attack\/33525\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/ai-chatbot-side-channel-attack\/33188\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.it\/blog\/tag\/ai\/","name":"AI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/posts\/28811","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/users\/2726"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/comments?post=28811"}],"version-history":[{"count":4,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/posts\/28811\/revisions"}],"predecessor-version":[{"id":28835,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/posts\/28811\/revisions\/28835"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/media\/28824"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/media?parent=28811"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/categories?post=28811"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.it\/blog\/wp-json\/wp\/v2\/tags?post=28811"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}