Grok 编造的“战争”突显了五角大楼对人工智能的深层担忧

美国国防部首席数字与人工智能官（CDAO）Craig Martell 一直公开表达他对在敏感军事环境下部署大语言模型（LLM）的怀疑态度。Grok 的这次事件——它将一系列笑话和猜测性的推文合成了一份看似事实的新闻摘要——凸显了一种被称为“幻觉循环”（hallucination loop）的技术现象。对于工程师而言，这不仅仅是一个故障，更是当前基于 Transformer 模型的架构中存在的一个根本性缺陷，使其与现代战争的“杀伤链”（kill chain）从根本上不兼容。

数字错觉的架构

要理解 Grok 为什么会在数字空间中“发射”了数千枚导弹，必须审视其实时数据摄取机制。与 GPT-4 等在具有定期更新的静态数据集上进行训练的模型不同，Grok 被设计用于利用来自 X 的实时数据流。这被作为一项功能进行营销，即提供“实时”洞察的能力。然而，从机械工程的角度来看，这创造了一个没有阻尼器的反馈循环。当 X 上的用户在高度地缘政治紧张时期开始发布笑话或误读报告时，Grok 的算法识别到了关键词频率的激增。随后，它将这些 Token 合成为叙事结构，而没有针对权威传感器数据进行二次验证。

为什么五角大楼拒绝非确定性系统

五角大楼犹豫不决的核心在于确定性系统与非确定性系统之间的区别。在传统的工业自动化和机器人技术中，系统是确定性的：给定特定的输入，它总是产生相同的输出。如果雷达探测到速度为 X、轨迹为 Y 的热信号，其响应协议是固定的。而大语言模型是非确定性的。同一个提示词可能会根据模型的“温度”（temperature）设置或输入流的细微变化而产生不同的结果。

对于 Craig Martell 和 CDAO 而言，Grok 事件证明了大语言模型缺乏指挥和控制所必需的“基础事实”（ground truth）。在最近的公开演讲中，Martell 强调五角大楼寻找的不是“创造性”人工智能，而是“可靠”的人工智能。Grok 的幻觉表明，当人工智能被赋予综合信息的能力时，它可能会无意中制造出一个升级循环。在一个假设的未来，如果这样的系统被集成到预警仪表板中，一条编造的头条新闻可能会触发防御姿态，而对手将其解读为进攻行动，从而导致现实世界中的发射。

人工智能自主性的经济与工业风险

除了动力学冲突带来的直接威胁外，关于人工智能“自动升级”性质的工业担忧也日益广泛。在制造和供应链物流领域，我们看到了将大语言模型集成到决策矩阵中的趋势。然而，Grok 事件也为私营部门敲响了警钟。如果一个管理全球物流网络的人工智能误读了关于港口罢工的社交媒体舆情“激增”，它可能会重新规划数千个集装箱的路线，从而基于幻觉造成巨大的经济摩擦。

军用级人工智能所需的技术规范涉及严格的“红队测试”（red-teaming）和实施“护栏”（guardrails），这些往往与硅谷快节奏、迭代式的发布周期相冲突。Musk 对 Grok 的做法——向公众发布“测试版”并让他们与未经证实的实时数据进行交互——与国防部的“负责任人工智能”（Responsible AI）框架背道而驰。该框架要求每一项人工智能驱动的行动都必须可追溯、可审计，最重要的是，必须置于能够访问底层数据源的人类操作员的控制之下。

我们能构建“扎根”的大语言模型吗？

问题仍然存在：是否有可能解决国防应用中的幻觉问题？工程师们目前正在尝试“检索增强生成”（Retrieval-Augmented Generation，简称 RAG）。在 RAG 设置中，大语言模型不被允许仅仅根据其训练来猜测下一个 Token；它必须首先查询一个受信任的私有数据库——例如军事传感器网络——并利用这些数据来锚定其响应。如果 Grok 当时使用的是锚定于北美防空司令部（NORAD）实际数据的 RAG，它就会发现空中并没有导弹，那个头条新闻也就永远不会生成。

然而，RAG 并非万灵药。查询海量数据库所涉及的延迟可能会减慢人工智能的响应时间，抵消了人工智能在国防应用中最为吸引人的速度优势。此外，将不同的数据格式——从热成像到加密无线电脉冲——整合为大语言模型能够理解的格式，是一项艰巨的工程挑战。我们要实现大语言模型在没有“创造性”解读风险的情况下可靠地融合多域数据，至少还需要几年，甚至几十年的时间。

合成现实的地缘政治后果

五角大楼担心的不仅仅是“我们”的人工智能会做什么，而是对手的人工智能可能会做什么。如果外国情报机构察觉到西方决策者开始依赖人工智能合成的摘要，他们就可以进行“数据投毒”（data poisoning）。通过在社交媒体或非机密网络上充斥特定的关键词和叙事，他们可以从外部有效地“编程”像 Grok 这样的大语言模型，诱导产生符合其战略利益的幻觉。这是一种新型的电子战，其目标不是硬件，而是模型本身的逻辑。

Grok 引发的伊朗事件是此类场景中影响较小的一个版本。虽然没有发射导弹，但对信息生态系统的“冲击”是真实的。这迫使公众讨论“未经过滤”的人工智能所带来的危险。对于五角大楼来说，这验证了他们在采用人工智能方面谨慎、甚至可能是“缓慢”的做法。当硅谷还在追求“快速行动并打破陈规”时，军方深知在他们的世界里，“打破陈规”通常涉及高能炸药和不可逆转的后果。

最终，在可预见的未来，人工智能在军事中的作用可能会被限制在“后台”任务上，例如物流、维护调度和数据分类。 “杀伤链”将固执地保持人类主导和确定性。作为 Noah Brooks，我认为这是一种必要的保障。战争的机械复杂性太高，且“幻觉”的代价太昂贵，不允许让一个随机鹦鹉（stochastic parrot）掌握发射按钮。Grok 事件是一个警钟；下一次当聊天机器人虚构出一场战争时，我们或许就无法如此幸运地发现这仅仅是应用程序的一个故障了。