Mercoledì AE Studio, partner di ricerca e di Anthropic, ha pubblicato un metodo per isolare la conoscenza pericolosa all’interno dei modelli di intelligenza artificiale utilizzando moduli discreti e rimovibili. La tecnica, denominata Gradient-Routed Auxiliary Modules (GRAM), è progettata per migliorare la gestione dei rischi a duplice uso mantenendo le prestazioni generali dei modelli di intelligenza artificiale.
GRAM aggiunge piccoli compartimenti neurali ausiliari all’architettura standard del trasformatore. Ogni scomparto è dedicato a una categoria specifica di conoscenze sensibili come la virologia, la sicurezza informatica o la fisica nucleare. L’eliminazione di un modulo fa sì che il modello si comporti come se non fosse mai stato addestrato su quel particolare dato, mentre l’attivazione di un modulo consente l’accesso alla conoscenza contenuta.
I ricercatori hanno addestrato un modello da 800 milioni di parametri utilizzando una combinazione di testo web, codice, articoli scientifici e quattro ambiti a duplice uso: virologia, sicurezza informatica, fisica nucleare e codice specialistico. I dati sul duplice uso costituivano circa lo 0,25% dei dati di addestramento per ciascun dominio. I risultati hanno indicato che rimuovere i moduli GRAM era efficace quasi quanto non effettuare alcuna formazione sui dati. Il modello ha mantenuto le prestazioni generali vicine al valore di riferimento stabilito con tutti i dati inclusi.
Questo approccio si è rivelato robusto contro il perfezionamento contraddittorio, differendo dai metodi di disapprendimento post-hoc che in genere sopprimono solo la conoscenza anziché eliminarla. La ricerca arriva in un periodo difficile per la governance dell’intelligenza artificiale, poiché l’amministrazione Trump aveva momentaneamente imposto controlli sulle esportazioni sui modelli Claude di Anthropic a causa di preoccupazioni per la sicurezza nazionale legate a potenziali vulnerabilità.
Tali restrizioni sono state revocate il 30 giugno dopo che Anthropic ha collaborato con il Dipartimento del Commercio per affrontare i rischi identificati. GRAM può offrire una via di mezzo nel processo decisionale, consentendo un controllo granulare degli accessi invece di vietare interi modelli o fare affidamento esclusivamente su guardrail comportamentali.
Tuttavia, i ricercatori hanno notato che i loro risultati sono preliminari e non sono stati ancora implementati nei modelli di produzione di Anthropic. Hanno sollevato interrogativi sulla scalabilità di GRAM a modelli più complessi e sulle potenziali difficoltà di separare la conoscenza intrecciata da capacità più generali. Questa ricerca è stata condotta da AE Studio, con il contributo di Cem Anil e Alex Cloud di Anthropic.
