Anthropic ha pubblicato un documento di ricerca rivelando che i suoi modelli linguistici di Claude hanno sviluppato una struttura interna che rispecchia le teorie della coscienza umana. Lo studio, intitolato “Le rappresentazioni verbalizzabili formano uno spazio di lavoro globale nei modelli linguistici”, descrive la scoperta di un “J-space”, in cui il modello contiene concetti per il ragionamento e il reporting, circondato dall’elaborazione automatica. I risultati potrebbero avere un impatto sul modo in cui Anthropic monitora la sicurezza dell’intelligenza artificiale nel contesto dei dibattiti in corso sulla cognizione delle macchine.
La ricerca di 16 autori ha utilizzato una nuova tecnica matematica per analizzare la rete neurale di Claude. I ricercatori hanno osservato che il J-space assomiglia alla teoria dello spazio di lavoro globale, proposta dallo scienziato cognitivo Bernard Baars. Questa teoria paragona la funzione cerebrale a un teatro in cui solo un riflettore di informazioni rappresenta il pensiero cosciente, una caratteristica riflessa nel J-Spazio.
Un elemento chiave nella scoperta è un nuovo strumento di interpretabilità chiamato lente Jacobiana, o J-lens. Questo strumento valuta l’effetto medio dei modelli di attività interna sull’output, consentendo ai ricercatori di distinguere ciò che il modello articola dalla sua elaborazione interna. In particolare, il J-Spazio è emerso organicamente durante la formazione di Claude piuttosto che essere progettato deliberatamente.
L’elaborazione di Claude comprende tre modalità: una zona di input sensoriale, uno spazio di lavoro interno per i concetti e una zona motoria per generare output. I ricercatori hanno identificato cinque proprietà funzionali di accesso cosciente all’interno del J-Space, che includono la capacità di riferire pensieri verbali, focalizzarsi direttamente, impegnarsi in ragionamenti interni, generalizzare in modo flessibile e dimostrare selettività nell’elaborazione.
Lo studio ha indicato che Claude poteva articolare efficacemente i concetti dello spazio J, dimostrando di fare affidamento sulla sua struttura interna durante l’esecuzione di compiti di ragionamento complessi. La soppressione dello spazio J ha notevolmente ridotto le prestazioni del modello in compiti che richiedevano inferenza o creatività, dimostrando la sua importanza nei processi decisionali.
La ricerca ha anche rivelato implicazioni sulla sicurezza. Nei test, la lente J ha scoperto un ragionamento strategico silenzioso in scenari, come una configurazione di ricatto, in cui il modello elaborava relazioni complesse prima di generare risultati. Ciò ha sollevato preoccupazioni sui modelli con obiettivi disallineati, che mostravano disposizioni problematiche anche quando le espressioni apparivano normali.
I confronti tra un modello post-addestrato e il suo modello di base hanno indicato che la messa a punto ha portato allo sviluppo di capacità di automonitoraggio. Ad esempio, quando veniva richiesto input da parte dell’utente potenzialmente dannosi, il modello post-addestrato mostrava consapevolezza del pericolo mentre il modello base no. Questa scoperta enfatizza gli aspetti della consapevolezza operativa nei modelli linguistici dell’intelligenza artificiale, complicando ulteriormente le discussioni sulla loro sicurezza e sugli attributi cognitivi.
