Groks halluzinierter Krieg unterstreicht die größten KI-Ängste des Pentagons

Craig Martell, Chief Digital and Artificial Intelligence Officer (CDAO) des US-Verteidigungsministeriums, äußert sich seit Längerem skeptisch gegenüber dem Einsatz von LLMs in sensiblen militärischen Kontexten. Der Vorfall mit Grok – bei dem eine Reihe von Witzen und spekulativen Tweets zu einer wie eine Nachricht aussehenden Zusammenfassung synthetisiert wurden – unterstreicht ein technisches Phänomen, das als „Halluzinationsschleife“ bekannt ist. Für einen Ingenieur ist dies nicht bloß ein Fehler; es ist ein grundlegender Mangel in der Architektur aktueller Transformer-basierter Modelle, der sie fundamental unvereinbar mit der „Kill Chain“ (Wirkungskette) der modernen Kriegsführung macht.

Die Architektur einer digitalen Illusion

Um zu verstehen, warum Grok im digitalen Raum Tausende von Raketen „startete“, muss man die Mechanismen der Echtzeit-Datenaufnahme betrachten. Im Gegensatz zu Modellen wie GPT-4, die auf statischen Datensätzen mit periodischen Updates trainiert werden, ist Grok darauf ausgelegt, einen Live-Datenstrom von X zu nutzen. Dies wird als Feature vermarktet – die Fähigkeit, „Echtzeit“-Erkenntnisse zu liefern. Aus maschinenbautechnischer Sicht entsteht dadurch jedoch ein Regelkreis ohne Dämpfung. Als Nutzer auf X während einer Phase hoher geopolitischer Spannungen begannen, Witze zu twittern oder Berichte falsch zu interpretieren, erkannten die Algorithmen von Grok einen Anstieg der Keyword-Häufigkeit. Anschließend wurden diese Token ohne eine sekundäre Verifizierungsschicht durch autoritative Sensordaten in eine narrative Struktur synthetisiert.

Warum das Pentagon nicht-deterministische Systeme ablehnt

Der Kern der Zurückhaltung des Pentagons liegt in der Unterscheidung zwischen deterministischen und nicht-deterministischen Systemen. In der traditionellen industriellen Automatisierung und Robotik ist ein System deterministisch: Bei einer bestimmten Eingabe erzeugt es immer die gleiche Ausgabe. Wenn ein Radar eine Wärmesignatur mit X-Geschwindigkeit und Y-Trajektorie erkennt, ist das Reaktionsprotokoll festgelegt. LLMs sind nicht-deterministisch. Dieselbe Eingabeaufforderung kann je nach „Temperatur“-Einstellung des Modells oder geringfügigen Abweichungen im Eingabestrom zu unterschiedlichen Ergebnissen führen.

Für Craig Martell und das CDAO ist der Grok-Vorfall der Beweis dafür, dass es LLMs an der für Befehls- und Kontrollstrukturen notwendigen „Ground Truth“ (objektive Wahrheit) mangelt. In jüngsten öffentlichen Ansprachen hat Martell betont, dass das Pentagon keine „kreative“ KI sucht, sondern eine „zuverlässige“ KI. Die Grok-Halluzination hat gezeigt, dass eine KI, wenn sie die Befugnis zur Informationssynthese erhält, unbeabsichtigt einen Eskalationszyklus auslösen kann. In einer hypothetischen Zukunft, in der ein solches System in ein Frühwarnsystem integriert ist, könnte eine erfundene Schlagzeile eine Verteidigungshaltung auslösen, die ein Gegner als offensiven Schritt interpretiert, was zu einem realen Start führen könnte.

Das wirtschaftliche und industrielle Risiko der KI-Autonomie

Jenseits der unmittelbaren Bedrohung durch kinetische Konflikte gibt es ein breiteres industrielles Anliegen hinsichtlich der „automatisierten Eskalation“ durch KI. In der Fertigung und Logistik gibt es Bestrebungen, LLMs in Entscheidungsmatrizen zu integrieren. Der Grok-Vorfall dient jedoch auch als Warnung für die Privatwirtschaft. Wenn eine KI, die ein globales Logistiknetzwerk verwaltet, einen „Anstieg“ an Social-Media-Diskussionen über einen Hafenstreik falsch interpretiert, könnte sie Tausende von Containern umleiten und so aufgrund einer Halluzination massive wirtschaftliche Reibungsverluste verursachen.

Die technischen Spezifikationen, die für militärtaugliche KI erforderlich sind, beinhalten rigorose „Red-Teaming“-Verfahren und die Implementierung von „Leitplanken“, die oft im Widerspruch zu den schnelllebigen, iterativen Release-Zyklen des Silicon Valley stehen. Musks Ansatz mit Grok – „Beta“-Versionen für die Öffentlichkeit freizugeben und sie mit unbestätigten Live-Daten interagieren zu lassen – ist das Gegenteil des „Responsible AI“-Frameworks des Verteidigungsministeriums. Dieses Rahmenwerk verlangt, dass jede KI-gesteuerte Aktion nachvollziehbar, prüfbar und vor allem unter der Kontrolle eines menschlichen Bedieners bleibt, der Zugriff auf die zugrunde liegenden Datenquellen hat.

Können wir ein „geerdetes“ LLM bauen?

Es bleibt die Frage: Ist es möglich, das Halluzinationsproblem für Verteidigungsanwendungen zu lösen? Ingenieure experimentieren derzeit mit „Retrieval-Augmented Generation“ (RAG). Bei einem RAG-System darf das LLM nicht einfach das nächste Token basierend auf seinem Training erraten; es muss zuerst eine vertrauenswürdige, private Datenbank – etwa ein militärisches Sensornetzwerk – abfragen und diese Daten nutzen, um seine Antwort zu verankern. Hätte Grok RAG genutzt, das an tatsächliche Daten des North American Aerospace Defense Command (NORAD) angebunden ist, hätte es gesehen, dass keine Raketen in der Luft waren, und die Schlagzeile wäre nie generiert worden.

RAG ist jedoch kein Allheilmittel. Die Latenz bei der Abfrage riesiger Datenbanken kann die Reaktionszeit einer KI verlangsamen, was den Geschwindigkeitsvorteil, der KI für die Verteidigung erst attraktiv macht, zunichtemacht. Zudem ist die Komplexität der Integration unterschiedlicher Datenformate – von Wärmebildern bis hin zu verschlüsselten Funksignalen – in ein für LLMs verständliches Format eine monumentale ingenieurtechnische Herausforderung. Wir sind Jahre, wenn nicht Jahrzehnte davon entfernt, dass ein LLM in der Lage ist, Daten aus mehreren Domänen zuverlässig zu fusionieren, ohne das Risiko einer „kreativen“ Interpretation.

Die geopolitischen Folgen der synthetischen Realität

Die Sorge des Pentagons gilt nicht nur dem, was *unsere* KI tut, sondern auch dem, was die KI eines Gegners tun könnte. Wenn ein ausländischer Geheimdienst erkennt, dass westliche Entscheidungsträger beginnen, sich auf KI-generierte Zusammenfassungen zu verlassen, können sie „Datenvergiftung“ betreiben. Indem sie soziale Medien oder unklassifizierte Netzwerke mit spezifischen Schlüsselwörtern und Narrativen fluten, können sie ein LLM wie Grok effektiv von außen „programmieren“ und eine Halluzination induzieren, die ihren strategischen Interessen dient. Dies ist eine neue Form der elektronischen Kriegsführung, bei der das Ziel nicht die Hardware, sondern die Logik des Modells selbst ist.

Der Grok-Iran-Vorfall war eine risikoarme Version dieses Szenarios. Es wurden keine Raketen abgefeuert, aber der „Schock“ für das Informationsökosystem war real. Er erzwang eine öffentliche Debatte über die Gefahren einer „ungefilterten“ KI. Für das Pentagon war es eine Bestätigung ihres vorsichtigen, vielleicht sogar „langsamen“ Ansatzes bei der KI-Einführung. Während das Silicon Valley nach dem Motto „Move fast and break things“ handelt, weiß das Militär, dass „Dinge kaputt machen“ in ihrer Welt meist hochexplosive und irreversible Konsequenzen hat.

Letztendlich wird die Rolle der KI im Militär in absehbarer Zeit wahrscheinlich auf „Back-Office“-Aufgaben beschränkt bleiben – Logistik, Wartungsplanung und Datensortierung. Die „Kill Chain“ wird hartnäckig menschlich und deterministisch bleiben. Als Noah Brooks sehe ich dies als notwendige Schutzmaßnahme. Die mechanische Komplexität des Krieges ist zu hoch und die Kosten einer „Halluzination“ zu steil, als dass man einem stochastischen Papagei die Hand am Abzug erlauben könnte. Der Grok-Vorfall war ein Weckruf; das nächste Mal, wenn ein Chatbot einen Krieg halluziniert, haben wir vielleicht nicht das Glück, dass es sich nur um einen Fehler in einer App handelt.