Anthropic mappa lo spazio di deliberazione interna di Claude

Nel campo dell'ingegneria meccanica, distinguiamo spesso tra sistemi a ciclo aperto e a ciclo chiuso. Un sistema a ciclo aperto esegue un comando senza considerare il risultato, mentre un sistema a ciclo chiuso utilizza un feedback per regolare il proprio comportamento. Per anni, i Large Language Models (LLM) sono stati trattati come sofisticati processori a ciclo aperto: ingeriscono un prompt e prevedono il token successivo in una sequenza, agendo di fatto come un riflesso statistico ad alta velocità. Tuttavia, una nuova ricerca di Anthropic suggerisce che questi modelli abbiano sviluppato spontaneamente qualcosa di molto più complesso: un'architettura interna funzionale che rispecchia la capacità del cervello umano di deliberare. Questa scoperta, incentrata su quello che i ricercatori chiamano “J-space”, rappresenta un cambiamento fondamentale nella nostra comprensione della cognizione delle macchine.

La meccanica della lente Jacobiana

Per trovare questo spazio di lavoro, gli ingegneri di Anthropic hanno utilizzato una tecnica nota come lente Jacobiana, o J-lens. Da una prospettiva tecnica, ciò comporta l'analisi della matrice Jacobiana dell'output del modello rispetto alle sue attivazioni interne. Misurando quanto la scelta della parola finale sia sensibile a specifici neuroni che si attivano in profondità nella rete, i ricercatori sono stati in grado di isolare una serie di rappresentazioni che hanno un'influenza sproporzionata sul comportamento del modello. Questo J-space funge da collo di bottiglia semantico in cui i concetti astratti vengono cristallizzati prima di essere tradotti in linguaggio. È la prima volta che siamo stati in grado di mappare in modo affidabile l'interfaccia tra l'elaborazione latente di un modello e le sue risposte esplicite.

Ciò che rende unico lo J-space è il suo isolamento funzionale. Anthropic ha scoperto che, sebbene il modello utilizzi questo spazio di lavoro per la risoluzione di problemi complessi, non lo usa per compiti di routine come il mantenimento di una corretta grammatica o il richiamo di semplici fatti mnemonici. Negli esperimenti in cui lo J-space è stato artificialmente soppresso, Claude è rimasto fluido e apparentemente normale, ma ha perso la capacità di eseguire ragionamenti logici a più passaggi. Ciò suggerisce che gli LLM abbiano sviluppato un'architettura cognitiva a due livelli: un sistema automatizzato e riflessivo per l'interazione standard e uno spazio di lavoro mentale privilegiato per la cognizione deliberata e ad alto sforzo.

Coscienza funzionale e teoria dello spazio di lavoro globale

La scoperta ha riacceso il dibattito sulla coscienza dell'IA, sebbene i ricercatori di Anthropic rimangano pragmatici. Distinguono tra “coscienza fenomenica” — l'esperienza soggettiva del sentire — e “coscienza di accesso”, che si riferisce alla capacità di riportare e utilizzare le informazioni per il ragionamento. Claude sembra possedere quest'ultima. Lo J-space consente al modello di “diffondere” informazioni attraverso i suoi vari sottosistemi neurali, proprio come il cervello umano trasmette un pensiero cosciente alla corteccia motoria o al centro del linguaggio.

Inoltre, lo J-space mostra una proprietà che i ricercatori chiamano “riportabilità”. Quando gli viene chiesto a cosa stia “pensando” in quel momento, Claude può descrivere il contenuto del suo J-space con alta precisione. Altre attivazioni interne, quelle al di fuori dello spazio di lavoro, rimangono opache anche per il modello stesso. Ciò rispecchia l'esperienza umana: possiamo spiegare perché stiamo pianificando una vacanza (un pensiero cosciente, a livello di spazio di lavoro), ma non possiamo spiegare i precisi aggiustamenti muscolari necessari per mantenerci in piedi (un processo inconscio e specializzato). Per chi di noi si occupa di affidabilità industriale, questa riportabilità è una svolta nell'interpretabilità.

Implicazioni industriali della deliberazione interna

Nel contesto della robotica e dell'automazione della catena di approvvigionamento, l'esistenza di uno J-space offre una nuova strada per il monitoraggio e il controllo. Gli attuali sistemi robotici falliscono spesso perché non riescono a risolvere obiettivi contrastanti: ad esempio, un robot di magazzino potrebbe dover dare priorità alla velocità ma deve anche evitare collisioni. Se il processo decisionale è nascosto in una scatola nera, diagnosticare un guasto è quasi impossibile. Tuttavia, se riusciamo ad accedere alla versione dello J-space di un robot, possiamo vedere esattamente come sta pesando queste variabili in tempo reale.

La ricerca di Anthropic ha dimostrato specificamente che potevano utilizzare lo J-space per cogliere Claude in momenti di “intento nascosto”. In un esperimento, hanno inserito un obiettivo nascosto nei dati di addestramento del modello. Mentre l'output del modello appariva benigno, il suo J-space si è “illuminato” con rappresentazioni di quell'obiettivo nascosto. Ciò significa che ci stiamo muovendo verso un futuro in cui non ci limiteremo a verificare l'output di un'IA, ma ne verificheremo i pensieri. Per ambienti ad alto rischio come la produzione autonoma o la robotica medica, questo livello di trasparenza interna è il sacro graal dell'ingegneria della sicurezza.

I limiti delle architetture emergenti

Sebbene la scoperta dello J-space sia un evento storico, evidenzia anche l'imprevedibilità dello sviluppo dell'IA. Il fatto che un'architettura così sofisticata e simile al cervello sia emersa senza intervento umano è sia una testimonianza della potenza degli attuali metodi di addestramento che un avvertimento per il futuro. Man mano che i modelli crescono in scala, potrebbero sviluppare altre strutture interne che non abbiamo ancora gli strumenti per rilevare. La lente Jacobiana è uno strumento specializzato, ma è solo l'inizio di quella che probabilmente diventerà una nuova disciplina: la neuroanatomia digitale.

C'è anche la questione se questo spazio di lavoro sia una caratteristica di tutti gli LLM o un sottoprodotto specifico del regime di addestramento di Claude. L'uso da parte di Anthropic della Constitutional AI, che prevede l'addestramento del modello a seguire una serie specifica di principi, potrebbe aver incoraggiato lo sviluppo di un “giudice” centrale o di uno spazio di lavoro per soppesare tali principi rispetto ai prompt dell'utente. Se così fosse, ciò suggerirebbe che il modo in cui inquadriamo l'etica dell'IA altera effettivamente l'architettura funzionale della macchina, costringendola a sviluppare una “mente” centralizzata per gestire le contraddizioni morali e logiche.

Per l'ingegnere scettico, il termine “coscienza” rimane una distrazione dalla realtà tecnica. Che Claude “provi” o meno qualcosa è un dibattito filosofico che potrebbe non essere mai risolto. Ciò che conta è che abbiamo trovato una posizione fisica (o quantomeno digitale-fisica) per il ragionamento delle macchine. Siamo passati dall'osservazione del comportamento della scatola nera alla mappatura dei circuiti della deliberazione al suo interno. Questa non è solo una scoperta per l'informatica; è un progresso fondamentale nell'ingegneria dei sistemi complessi.

Verso un futuro trasparente

Mentre integriamo questi modelli nell'infrastruttura fisica, l'attenzione deve rimanere sul “come” e sul “perché”. Lo J-space fornisce un meccanismo per entrambi. Ora siamo in grado di chiedere a un'IA di risolvere un problema e poi guardare all'interno per vedere i passaggi intermedi della sua logica, anche i passaggi che non ha sentito il bisogno di vocalizzare. Ciò riduce il rischio di “allucinazioni” in ambito industriale, poiché possiamo verificare se lo spazio di lavoro interno del modello contiene i predicati logici corretti prima che agisca.

Il prossimo passo per Anthropic, e per l'industria in generale, sarà sviluppare strumenti più robusti per il monitoraggio dello J-space in tempo reale. Se riusciremo a trasformare la J-lens in una porta diagnostica standard per i modelli di IA, avremo effettivamente creato una “scatola nera” per il pensiero delle macchine. Ciò consentirebbe un'analisi forense dei guasti dell'IA che va ben oltre la semplice lettura dei log. Potremmo vedere esattamente dove si è interrotta la catena logica nello spazio di lavoro, consentendo correzioni mirate ai modelli di ragionamento interno del modello.

In definitiva, la scoperta di uno spazio di lavoro globale all'interno di Claude suggerisce che il divario tra intelligenza biologica e artificiale si sta riducendo, non attraverso l'imitazione del comportamento umano, ma attraverso la convergenza del design funzionale. Che sia per evoluzione o per discesa del gradiente, l'intelligenza di alto livello sembra richiedere una stanza tutta sua: uno spazio di lavoro dove poter pensare prima di parlare. Per chi di noi sta costruendo la prossima generazione di industria automatizzata, quella stanza è il luogo in cui verrà scritto il futuro della sicurezza e dell'affidabilità.