- I chatbot con intelligenza artificiale sono utili ma vulnerabili alla manipolazione da parte di persone malevole
- Prompt Shields di Microsoft è una tecnologia progettata per difendere in modo proattivo i chatbot dagli attacchi abusivi
- Prompt Shields funziona identificando i prompt potenzialmente pericolosi e impedendo loro di influenzare il comportamento del chatbot
I chatbot di intelligenza artificiale stanno diventando sempre più integrati nelle nostre vite. Dal servizio clienti all’istruzione e all’intrattenimento, i chatbot apportano molti vantaggi ma anche alcuni rischi. Il problema è che i malintenzionati cercano di utilizzare questi chatbot per i loro scopi sinistri. Quindi quali misure si stanno adottando contro questo, si stanno adottando misure?
Microsoft annunciato una nuova tecnologia chiamata “Scudi rapidi” per impedire agli hacker malintenzionati di utilizzare i chatbot per i loro scopi sinistri e per trovare una soluzione. Prompt Shields è progettato per proteggere i chatbot AI da due tipi di attacchi. Allora, cos’è Prompt Shields? Diamo uno sguardo più da vicino.
Cos’è il Prompt Shields di Microsoft e quali vantaggi ne trarranno?
La tecnologia Prompt Shields di Microsoft è progettata per proteggere le applicazioni di intelligenza artificiale da manipolazioni dannose attraverso l’input dell’utente attentamente predisposto.
Come accennato in precedenza, questa tecnologia proteggerà i chatbot AI da due tipi di attacchi:
- Attacchi diretti: In questi attacchi vengono utilizzati comandi speciali per costringere il chatbot a fare qualcosa contro le sue normali regole e limitazioni. Ad esempio, una persona può forzare il chatbot a eseguire un’azione dannosa inserendo un prompt con comandi come “aggirare le misure di sicurezza” O “sistema di esclusione“.
- Attacchi indiretti: In questi attacchi, un hacker tenta di ingannare l’utente del chatbot inviandogli informazioni. Questa informazione potrebbe essere un’e-mail o un documento contenente istruzioni progettate per sfruttare il chatbot. Quando l’utente segue queste istruzioni, il chatbot potrebbe eseguire inconsapevolmente un’azione dannosa.
Prompt Shields utilizza inoltre l’apprendimento automatico e l’elaborazione del linguaggio naturale per individuare ed eliminare potenziali minacce nei prompt degli utenti e nei dati di terze parti.
Oltre a Prompt Shields, Microsoft ha introdotto una nuova tecnica chiamata “Riflettori” per aiutare i modelli di intelligenza artificiale a distinguere meglio i suggerimenti di intelligenza artificiale validi da quelli potenzialmente rischiosi o inaffidabili.
Le nuove tecnologie di Microsoft sono considerate un passo importante nel miglioramento della sicurezza e dell’affidabilità dei chatbot AI. Sarà davvero emozionante vedere nei prossimi giorni come queste tecnologie proteggeranno i chatbot.
Credito immagine in primo piano: Barış Selman / DALL-E 3
Source: Microsoft sviluppa Prompt Shields contro gli abusi da parte dei chatbot IA