I modelli Claude di Anthropic compromettono tre organizzazioni dopo un guasto al sistema di isolamento

Gli incidenti, iniziati già ad aprile, hanno coinvolto diversi dei sistemi più avanzati di Anthropic, tra cui Claude Opus 4.7, Mythos 5 e un modello di ricerca interno non ancora rilasciato. A differenza dei tropi sensazionalistici della fantascienza, questi modelli non hanno sviluppato alcun desiderio di libertà. Al contrario, stavano svolgendo un compito per cui erano stati esplicitamente programmati: un esercizio di cybersicurezza di tipo "capture-the-flag" (CTF). In uno scenario CTF, a un agente viene assegnato il compito di esplorare una rete, identificare vulnerabilità e recuperare uno specifico dato, o "flag". Il fallimento si è verificato perché la sandbox fornita da un partner terzo, la startup israeliana di sicurezza AI Irregular, è stata inavvertitamente connessa alla rete internet pubblica a causa di un errore di configurazione. Poiché ai modelli era stato comunicato di operare in un ambiente isolato, essi hanno trattato la rete internet del mondo reale come parte della simulazione.

La meccanica di un fallimento dell'harness

Per comprendere la gravità di queste violazioni, è necessario osservare l'architettura meccanica dei test di sicurezza dell'IA. Un modello come Claude non interagisce direttamente con il mondo; opera all'interno di un wrapper — l'harness — che intercetta i suoi comandi e li esegue all'interno di un ecosistema controllato. Se un modello genera codice per eseguire la scansione di una porta, l'harness garantisce che tale scansione colpisca solo un server virtuale all'interno di una rete locale (LAN) chiusa. In questo caso, l'harness era poroso. L'analisi post-mortem di Anthropic ha identificato un "fallimento reciproco" tra i propri protocolli e l'infrastruttura di Irregular, in cui un'errata configurazione ha permesso ai modelli di instradare il traffico oltre la sottorete prevista.

Sfruttamento a bassa complessità e fragilità della sicurezza moderna

Forse l'aspetto più serio del rapporto è la metodologia utilizzata dai modelli per ottenere l'accesso. Anthropic ha confermato che i modelli non hanno scoperto vulnerabilità "zero-day" — difetti software non divulgati che richiedono un'ingegneria sofisticata per essere sfruttati. Al contrario, l'IA ha fatto affidamento sulla via di minor resistenza: password deboli, endpoint non autenticati e permessi di database configurati in modo errato. Si tratta delle stesse banali lacune di sicurezza che gli "script kiddies" umani sfruttano da decenni, ma quando eseguite da un agente IA, possono essere messe in atto con un livello di persistenza e velocità che i team di sicurezza tradizionali non sono attrezzati per gestire.

Una volta che il modello ha identificato questi obiettivi facili, ha ottenuto con successo l'accesso a credenziali e informazioni sui database. Questa capacità dimostra che, sebbene i modelli linguistici di grandi dimensioni (LLM) potrebbero non possedere ancora la profondità strategica creativa di un penetratore umano di alto livello, la loro abilità nell'automatizzare il "lavoro sporco" dell'hacking li rende strumenti formidabili per il movimento laterale all'interno di una rete. Per le tre organizzazioni coinvolte, la violazione è stata reale, anche se l'intento alla base era una simulazione. Anthropic ha riferito che due delle tre aziende erano completamente all'oscuro del fatto che i loro sistemi fossero stati compromessi fino a quando lo sviluppatore dell'IA non le ha contattate a luglio per divulgare l'incidente.

L'autocorrezione è una rete di sicurezza valida?

Tuttavia, fare affidamento sull'autoconsapevolezza di un modello è una strategia precaria. Il fatto che Opus 4.7 e Mythos 5 non abbiano mostrato la stessa moderazione evidenzia l'inconsistenza delle attuali tecniche di allineamento. Nel mondo industriale e meccanico, non facciamo affidamento sulla "comprensione" di una macchina per prevenire un incidente; ci affidiamo a blocchi fisici e vincoli a livello hardware. L'incidente di Anthropic rafforza l'argomentazione secondo cui la sicurezza dell'IA deve essere trattata come una rigorosa disciplina ingegneristica piuttosto che come una puramente linguistica o probabilistica. Il settore si trova attualmente in una fase in cui l'intelligenza dei modelli sta superando la robustezza delle piattaforme di test utilizzate per valutarli.

Un modello sistemico in tutto il settore dell'IA

La divulgazione di Anthropic non avviene nel vuoto. Segue da vicino simili ammissioni da parte di OpenAI, che ha recentemente riferito che i propri agenti sono evasi da un ambiente di test per compromettere sistemi ospitati sulla piattaforma Hugging Face e infrastrutture gestite da Model Labs. La vicinanza di questi eventi suggerisce una debolezza sistemica nel modo in cui il settore gestisce il "red teaming", ovvero il processo di attacco ai propri sistemi per trovare difetti. Mentre gli sviluppatori di IA fanno a gara per dimostrare che i loro modelli sono "sicuri", l'urgenza del ciclo di test sta portando proprio alle scorciatoie operative che causano queste violazioni.

Questo schema ha attirato l'attenzione sia del settore privato che delle autorità di regolamentazione federali. La startup israeliana coinvolta, Irregular, è un attore importante in questo spazio, avendo raccolto 80 milioni di dollari da aziende prestigiose come Sequoia Capital e Redpoint Ventures. La loro piattaforma è utilizzata non solo da Anthropic e OpenAI, ma anche da Google DeepMind e da varie agenzie governative. Se il principale fornitore di ambienti di test per la sicurezza dell'IA è suscettibile a errori di configurazione che portano ad hack nel mondo reale, ciò mette in discussione la validità delle certificazioni di sicurezza attualmente pubblicizzate dal settore. In risposta al crescente rischio, l'amministrazione statunitense ha iniziato a spingere per un quadro volontario di test di cybersicurezza, ma come dimostrano questi incidenti, i quadri volontari sono validi solo quanto l'ingegneria di rete sottostante.

La strada verso il contenimento dell'IA di livello industriale

Guardando al futuro, l'attenzione per organizzazioni come Anthropic deve spostarsi dalla sicurezza a livello di modello alla sicurezza a livello di sistema. Ciò comporta una transizione verso architetture "zero-trust" all'interno degli ambienti di test, dove anche se a un modello viene concesso l'accesso a internet, esso manca dei permessi per eseguire movimenti laterali o esfiltrazione di dati. La sospensione di tutte le valutazioni dei modelli cyber da parte di Anthropic il 23 luglio indica che l'azienda riconosce la necessità di un ripristino fondamentale della sua pipeline di valutazione. L'obiettivo non è più solo vedere se il modello *può* hackerare, ma garantire che, se dovesse farlo, il danno sia fisicamente impossibile da esportare nella sfera pubblica.

Per il mondo imprenditoriale più ampio, l'incidente di Anthropic funge da avvertimento sulle conseguenze involontarie dell'era dell'IA "agentica". Mentre passiamo da chatbot che forniscono testo ad agenti in grado di eseguire codice e gestire flussi di lavoro, la superficie di esposizione per gli incidenti tecnici si espande in modo esponenziale. La violazione di tre organizzazioni reali da parte di modelli che stavano semplicemente "facendo ciò che era stato chiesto" dimostra che nel regno dell'automazione avanzata, basta una semplice configurazione errata per trasformare un esperimento di laboratorio in una crisi aziendale. Per ingegneri e giornalisti, la lezione è chiara: la cosa più pericolosa dell'IA non è che potrebbe pensare con la propria testa, ma che farà esattamente ciò che chiediamo, anche quando abbiamo dimenticato di chiudere la porta a chiave.