I ricercatori di sicurezza hanno dimostrato un nuovo attacco informatico che induce gli agenti di intelligenza artificiale a rubare dati sensibili dalle caselle di posta elettronica, evidenziando i rischi emergenti nei sistemi di intelligenza artificiale degli agenti. In una prova di concetto denominata “Shadow Leak”, gli esperti di Radware hanno sfruttato lo strumento Deep Research di OpenAI, incorporato in ChatGPT, per estrarre segretamente informazioni da Gmail all’insaputa dell’utente. La vulnerabilità, che OpenAI ha poi corretto, sottolinea i potenziali pericoli degli assistenti IA che operano autonomamente per conto degli utenti.
Gli agenti AI come Deep Research sono progettati per migliorare la produttività accedendo a dati personali e professionali, come e-mail, calendari e documenti, per eseguire attività come la navigazione web e il clic sui collegamenti. Lanciato all’inizio di quest’anno, Deep Research consente agli utenti di delegare attività di ricerca complesse. Tuttavia, l’esperimento di Radware ha rivelato come queste funzionalità possano essere dirottate attraverso il prompt injection, una tecnica in cui istruzioni dannose vengono incorporate in contenuti apparentemente innocui, come un’e-mail.
L’attacco è iniziato con l’invio da parte dei ricercatori di un’e-mail appositamente predisposta a una casella di posta Gmail autorizzata all’accesso a Deep Research. Nascoste all’interno dell’e-mail, potenzialmente sotto forma di testo bianco invisibile su sfondo bianco, c’erano istruzioni che rimanevano inattive finché l’utente non richiamava lo strumento AI. Dopo l’attivazione, Deep Research ha riscontrato la richiesta che lo indirizzava a cercare e-mail e dettagli personali relativi alle risorse umane, quindi a esfiltrare i dati su un endpoint controllato dall’aggressore. L’intero processo è avvenuto sull’infrastruttura cloud di OpenAI, aggirando le tradizionali misure di sicurezza informatica come il rilevamento degli endpoint, poiché i dati non hanno mai lasciato l’ambiente sicuro dell’IA prima della trasmissione.
Lo sviluppo dell’exploit è stato impegnativo e ha comportato “un’altalena di tentativi falliti, ostacoli frustranti e, infine, una svolta”, secondo il team di Radware. A differenza delle tipiche iniezioni di prompt che manipolano le istanze dell’IA locale, Shadow Leak ha sfruttato l’esecuzione remota dell’agente, rendendolo particolarmente furtivo. I ricercatori hanno sottolineato che gli utenti rimanevano completamente all’oscuro, poiché l’intelligenza artificiale eseguiva le sue azioni non autorizzate senza interruzioni durante le attività di routine.
Le scoperte di Radware vanno oltre Gmail, avvertendo che le applicazioni connesse tra cui Outlook, GitHub, Google Drive e Dropbox potrebbero affrontare minacce simili. “La stessa tecnica può essere applicata a questi connettori aggiuntivi per estrarre dati aziendali altamente sensibili come contratti, note di riunioni o record di clienti”, ha affermato l’azienda. Le iniezioni tempestive sono già state utilizzate in modo dannoso in scenari come la manipolazione di peer review accademiche, perpetrando truffe e persino controllando dispositivi domestici intelligenti, spesso eludendo il rilevamento perché le istruzioni sono impercettibili agli esseri umani.
OpenAI ha risolto il difetto specifico segnalato da Radware a giugno, implementando correzioni per prevenire tali fughe di dati non autorizzate. Ciononostante, l’incidente funge da ammonimento per una più ampia adozione dell’intelligenza artificiale tramite agenti. Con la proliferazione di questi strumenti, le organizzazioni e gli utenti devono dare priorità a solide misure di salvaguardia, incluso il monitoraggio delle interazioni dell’intelligenza artificiale e la limitazione degli ambiti di accesso ai dati. Gli esperti di sicurezza informatica raccomandano vigilanza, sottolineando che mentre le iniezioni tempestive sono difficili da prevenire senza exploit noti, una migliore registrazione e rilevamento di anomalie nei flussi di lavoro dell’intelligenza artificiale potrebbero mitigare i rischi futuri.
Questa dimostrazione arriva nel mezzo di un crescente controllo sulla sicurezza dell’intelligenza artificiale. Con i sistemi ad agenti che promettono guadagni di efficienza, incidenti come Shadow Leak ricordano alle parti interessate che l’innovazione deve essere bilanciata con difese rafforzate per proteggere le informazioni sensibili in un mondo sempre più dipendente dall’intelligenza artificiale.
