Un quasi incidente nel Pacifico rivela i pericoli letali della guerra algoritmica

Un rapporto emerso di recente, che descrive un drammatico sfiorato incidente tra le forze militari statunitensi e quelle cinesi, ha confermato ciò che gli ingegneri di sistema e gli analisti della difesa temevano in silenzio da anni: l'odierna stabilità geopolitica è sempre più ostaggio delle fragili euristiche dell'apprendimento automatico. Secondo quanto emerge dalle indagini sulla sicurezza nazionale, una piattaforma algoritmica di rilevamento delle minacce e fusione dei sensori ha classificato erroneamente una telemetria di routine, innescando una sequenza di escalation automatizzata che ha portato due superpotenze dotate di armi nucleari a pochi minuti dalla ritorsione cinetica. Sebbene gli operatori umani siano infine intervenuti per interrompere la sequenza di attacco, l'incidente espone la fragile realtà che si cela dietro i moderni sforzi di automatizzare le architetture di comando della difesa.

Per decenni, il modello standard di deterrenza della difesa si è basato sull'attrito fisico del processo decisionale umano. Verificare la telemetria satellitare, valutare le serie di boe acustiche e incrociare le intercettazioni radio richiedeva ore, dando ai comandanti il tempo di verificare se un segnale anomalo fosse un sottomarino in navigazione silenziosa o uno strato termico nella colonna d'acqua. Oggi, il Dipartimento della Difesa degli Stati Uniti e l'Esercito Popolare di Liberazione cinese sono impegnati in una corsa all'automazione della catena di comando (kill chain) nell'ambito di iniziative come il Joint All-Domain Command and Control (JADC2) del Pentagono. La promessa è un vantaggio tattico ultra-rapido. La realtà, come dimostra questo quasi-incidente, è un ciclo di feedback ad alta velocità vulnerabile alle catastrofiche modalità di guasto intrinseche al software non deterministico.

L'anatomia di un falso positivo algoritmico

L'intelligenza artificiale militare non opera come un unico cervello onnisciente; piuttosto, è un mosaico irregolare di reti neurali profonde, modelli di visione artificiale e motori di inferenza bayesiana che elaborano volumi insondabili di dati grezzi dei sensori. Nei corridoi marittimi contesi come il Mar Cinese Meridionale e lo Stretto di Taiwan, l'ambiente operativo è denso di navi commerciali, flotte di pesca regionali, contromisure elettroniche e complesse riflessioni acustiche. I modelli di apprendimento automatico distribuiti su piattaforme di ricognizione come l'MQ-4C Triton o che elaborano feed di radar ad apertura sintetica (SAR) devono isolare continuamente le risorse ostili dal rumore di fondo.

In questo incidente segnalato, la modalità di guasto ha avuto origine in una pipeline di fusione di sensori multi-modale. Quando una piattaforma di sorveglianza automatizzata ha acquisito immagini radar ad apertura sintetica insieme a emissioni elettromagnetiche intercettate, un modello di visione artificiale distribuito all'edge ha identificato erroneamente una formazione di navi militari. Aggravando l'errore, il sistema ha allucinato una postura di lancio imminente basata su firme elettromagnetiche correlate che erano in realtà interferenze radar civili mescolate a telemetria di addestramento standard. Il software ha assegnato un punteggio di probabilità quasi certo a una salva di missili antinave in arrivo, portando il sistema di difesa automatizzato a uno stato di ritorsione pre-lancio prima che un analista umano segnalasse le anomalie della telemetria grezza.

Il difetto tecnico fondamentale risiede nel modo in cui i modelli di deep learning gestiscono lo spostamento della distribuzione (distribution shift). Le reti neurali sono addestrate su dataset storici di comportamenti ostili, sezioni radar e profili di guerra elettronica. Quando vengono impiegati in teatri operativi del mondo reale, questi modelli incontrano casi limite non standard che esistono interamente al di fuori delle loro varietà di addestramento. Quando una rete neurale convoluzionale commerciale non riesce a classificare un pedone, un'auto a guida autonoma potrebbe frenare bruscamente. Quando un nodo di supporto al comando automatizzato interpreta erroneamente l'eco radar durante una tensione geopolitica elevata, minaccia di scatenare una risposta strategica irreversibile.

Il mito del significativo intervento umano nel ciclo

La dottrina della difesa impone universalmente che un “essere umano rimanga nel ciclo” per qualsiasi decisione letale o strategica. Quadri normativi come la Direttiva 3000.09 del DoD stabiliscono che i sistemi autonomi e semi-autonomi devono essere progettati per consentire ai comandanti e agli operatori di esercitare livelli appropriati di giudizio umano sull'uso della forza. Tuttavia, gli ingegneri di sistema che studiano l'interazione uomo-macchina hanno compreso da tempo che questa salvaguardia è spesso puramente teorica in condizioni operative.

Man mano che i tempi da sensore a bersaglio si riducono da ore a secondi, l'operatore umano cessa di essere un decisore deliberativo e diventa un timbro di approvazione. Quando un'interfaccia automatizzata lampeggia in rosso, visualizzando i tempi di volo calcolati di missili da crociera ipersonici misurati in meno di tre minuti, un operatore umano non può verificare sistematicamente i milioni di parametri, pesi e input di telemetria grezzi che hanno generato l'allerta. Il fenomeno cognitivo noto come bias di automazione — la tendenza psicologica degli esseri umani a deferire alle raccomandazioni algoritmiche, in particolare sotto stress estremo — garantisce virtualmente che un operatore si fiderà della macchina.

Nel quasi-incidente del Pacifico, la catastrofe è stata evitata non perché il processo di fail-safe abbia funzionato come previsto, ma perché un ingegnere esperto ha messo in discussione il feed del sensore sottostante piuttosto che l'output della macchina. Se quell'intervento specifico avesse richiesto sessanta secondi in più, le procedure operative standard avrebbero autorizzato un attacco preventivo contro una base avversaria che non aveva mai lanciato un missile. Fare affidamento su un operatore esausto per smentire matematicamente un'allucinazione algoritmica entro una finestra di tre minuti non è un protocollo di sicurezza; è un fallimento strutturale in attesa di materializzarsi.

Flash crash algoritmici nella geopolitica

Il settore finanziario ha appreso i rischi della velocità automatizzata oltre un decennio fa. Il 6 maggio 2010, il mercato azionario statunitense ha vissuto il “Flash Crash”, dove algoritmi di trading ad alta frequenza automatizzati si sono impegnati in cicli di feedback fuori controllo, cancellando mille miliardi di dollari di valore di mercato in trentasei minuti prima che gli interruttori automatici (circuit breaker) interrompessero le negoziazioni. Gli algoritmi ad alta frequenza interagivano con altri algoritmi simili, interpretando i cali del volume degli scambi come crolli strutturali e innescando vendite automatiche.

Un moderno teatro di guerra opera con meccaniche straordinariamente simili, ma senza interruttori automatici. Se sia gli Stati Uniti che la Cina dispongono di sistemi di comando semi-autonomi accelerati dall'IA, le due architetture interagiranno inevitabilmente. Una manovra difensiva automatizzata eseguita da un sistema può essere interpretata come una firma di postura offensiva dall'altro. Ciò rischia di innescare una scala di escalation continua e alla velocità della macchina che supera le linee dirette diplomatiche, la verifica umana e i canali di de-escalation politica.

A differenza dei mercati finanziari, le implementazioni algoritmiche militari operano in un ambiente di intenzionale inganno avversario. Le moderne piattaforme di guerra elettronica sono esplicitamente progettate per ingannare i modelli di apprendimento automatico. Proiettando rumore a radiofrequenza mirato o artefatti visivi fisici — noti tecnicamente come perturbazioni avversarie — un avversario può deliberatamente indurre in errore un modello di visione artificiale facendogli vedere un attacco in arrivo dove non esiste. Se la pipeline di comando di una nazione si affida a software deterministico accoppiato a reti neurali "black-box", consegna al suo avversario un meccanismo per indurre il panico strategico attraverso la manipolazione computazionale.

Riprogettare l'architettura della difesa

Risolvere questa vulnerabilità sistemica richiede che il settore della difesa abbandoni la sua adozione acritica dei paradigmi del software commerciale. Nella Silicon Valley, la procedura operativa standard è il dispiegamento iterativo: spingere modelli probabilistici, raccogliere dati di casi limite nel mondo reale e correggere gli errori nelle versioni successive. Nel contesto della sicurezza nazionale e del comando, controllo e comunicazioni nucleari, un tasso di errore probabilistico del due percento è inaccettabile.

Progettare resilienza in questi sistemi richiede un ritorno alla verifica deterministica e alla modellazione matematica formale. I sistemi autonomi devono essere costruiti con blocchi fisici rigidi e macchine a stati a livello hardware che impediscano transizioni cinetiche senza una corroborazione fisica multi-sorgente e non algoritmica. Se il radar ad apertura sintetica indica una postura offensiva, il sistema non deve essere autorizzato a intensificare basandosi solo su probabilità bayesiane; la verifica fisica multispettrale deve essere non negoziabile, anche se introduce latenza nel ciclo decisionale.

Inoltre, il quasi-incidente nell'Indo-Pacifico evidenzia il disperato bisogno di accordi bilaterali di de-conflitto algoritmico tra Washington e Pechino. Proprio come la Guerra Fredda ha prodotto protocolli navali per prevenire collisioni accidentali tra navi americane e sovietiche, le superpotenze moderne richiedono standard computazionali. Questi devono includere definizioni condivise di confini operativi automatizzati, divieti sull'integrazione di algoritmi autonomi in architetture strategiche di lancio su allarme e canali di comunicazione diretti tra militari dedicati esclusivamente a chiarire le anomalie dei sensori.