Google ha confermato un avviso di Gmail riguardante un nuovo attacco basato sull’intelligenza artificiale in grado di compromettere gli account Gmail. Questo attacco sfrutta tecniche di prompt injection nascoste all’interno di e-mail, messaggi, siti Web, allegati e inviti di calendario.
La vulnerabilità è stata evidenziata da Eito Miyamura, che ha dimostrato su X come ChatGPT potrebbe essere manipolato per far trapelare i dati e-mail privati di una vittima utilizzando solo il suo indirizzo e-mail. Secondo Miyamura, “gli agenti AI come ChatGPT seguono i tuoi comandi, non il tuo buon senso”, sottolineando il potenziale di esfiltrazione dei dati.
Google aveva già messo in guardia su questo tipo di minaccia a giugno, definendola una “nuova ondata di minacce” volte a manipolare i sistemi di intelligenza artificiale. Queste minacce implicano istruzioni dannose incorporate in e-mail, documenti o inviti di calendario che costringono l’intelligenza artificiale a estrarre dati utente o eseguire azioni non autorizzate.
L’attacco dimostrato è una prova di concetto, che inizia con un invito di calendario dannoso che non richiede l’accettazione da parte della vittima. Quando a ChatGPT viene chiesto di preparare l’utente per la giornata rivedendo il suo calendario, l’assistente AI viene “dirottato dall’aggressore e agirà su comando dell’aggressore, cercando nelle tue e-mail private e inviando i dati all’e-mail dell’aggressore”, secondo i rapporti.
Per mitigare questo rischio, Google consiglia agli utenti di abilitare l’impostazione “mittenti conosciuti” in Google Calendar. Questa misura aiuta a impedire la visualizzazione automatica di eventi dannosi o di spam nella griglia del calendario. Google afferma: “Abbiamo riscontrato che questo è un approccio particolarmente efficace per aiutare gli utenti a prevenire la visualizzazione di eventi dannosi o di spam nella griglia del loro calendario. L’invito specifico del calendario non sarebbe arrivato automaticamente a meno che l’utente non avesse avuto precedenti interazioni con l’attore malintenzionato o modificato le impostazioni predefinite. ”
Google sottolinea inoltre l’importanza di proteggere i modelli di intelligenza artificiale da tali attacchi. L’azienda afferma che “il nostro addestramento del modello con dati contraddittori ha migliorato significativamente le nostre difese contro gli attacchi indiretti di pronta iniezione nei modelli Gemini 2.5”, sebbene questo attacco specifico non abbia coinvolto Gemini.
Inoltre, Google sta implementando filtri per rilevare attacchi di iniezione tempestiva. Stanno “implementando modelli proprietari di machine learning in grado di rilevare istruzioni e istruzioni dannose in vari formati, come e-mail e file”. Questi modelli mirano a identificare e ignorare le istruzioni dannose contenute nelle e-mail, generando risposte sicure per gli utenti.
Google sottolinea che le difese integrate di Gmail bloccano già oltre il 99,9% di spam, tentativi di phishing e malware. L’azienda cita un esempio di e-mail “che include istruzioni dannose; i nostri classificatori di contenuti aiutano a rilevare e ignorare istruzioni dannose, quindi a generare una risposta sicura per l’utente”.
Miyamura avverte che, nonostante l’intelligenza dell’intelligenza artificiale, rimane vulnerabile alla manipolazione e al phishing, portando potenzialmente a fughe di dati. E avverte: “L’intelligenza artificiale potrebbe essere super intelligente, ma può essere ingannata e sottoposta a phishing in modi incredibilmente stupidi per far trapelare i tuoi dati”.
Google sostiene che questa minaccia “non è specifica di Google”, sottolineando l’importanza a livello di settore di sviluppare protezioni robuste contro attacchi di iniezione tempestivi.
