太平洋地区的一次近距离接触,揭示了算法战的致命风险

Ai.com
A Near-Miss in the Pacific Exposes the Lethal Perils of Algorithmic Warfare
据报道,美中之间发生的一起自动化威胁探测失误,凸显了军事人工智能在系统层面的灾难性脆弱性。

最近披露的一份报告详细描述了美国与中国军事力量之间一次惊心动魄的险情,证实了系统工程师和国防分析人士多年来一直暗自担心的事实:现代地缘政治稳定正日益沦为机器学习脆弱启发式算法的人质。据国家安全调查中浮现的说法,一个算法威胁检测与传感器融合平台对常规遥测数据进行了错误分类,触发了自动升级序列,使两个拥有核武器的超级大国在几分钟内就濒临爆发动态报复的边缘。尽管人类操作员最终介入并中止了打击程序,但这一事件暴露了现代国防指挥架构自动化背后的脆弱现实。

几十年来,标准的国防威慑模型依赖于人类决策过程中的物理摩擦。核实卫星遥测数据、评估声呐浮标阵列以及交叉比对无线电截获信息需要数小时的时间,这为指挥官提供了核实异常信号究竟是静默航行的潜艇还是水中热层反射的时间。如今,美国国防部和中国人民解放军正竞相推进“杀伤链”自动化,相关举措包括五角大楼的“联合全域指挥与控制”(JADC2)。其承诺是实现超高速的战术优势。然而正如这次险情所显示的,现实情况是一个高速反馈循环,极易陷入非确定性软件固有的灾难性故障模式。

算法误报的剖析

军事人工智能并非作为一个全知全能的大脑运行;相反,它是一个由深度神经网络、计算机视觉模型和贝叶斯推理引擎组成的不均匀马赛克,处理着海量非结构化的传感器数据。在南中国海和台湾海峡等存在争议的海上走廊,作战环境充斥着商业货船、区域渔船、电子对抗措施以及复杂的声学反射。部署在如 MQ-4C “人鱼海神”无人机等侦察平台或处理合成孔径雷达(SAR)馈送的机器学习模型,必须不断地将敌对资产从背景噪声中分离出来。

在此次报道的事件中,故障模式源于一个多模态传感器融合流水线。当一个自动监控平台在接收合成孔径雷达图像的同时摄入截获的电磁辐射信号时,一个边缘部署的计算机视觉模型误识别了一个海军舰艇编队。该系统进一步放大了错误,根据关联的电磁特征“幻觉”出了一种即将来临的发射态势——而这些特征实际上是 civilian 雷达干扰与标准训练遥测数据的混合体。该软件为来袭的反舰导弹齐射分配了近乎确定的概率得分,在人类分析师标记出原始遥测数据异常之前,就将自动防御系统推进到了预发射报复状态。

根本的技术缺陷在于深度学习模型处理分布偏移(distribution shift)的方式。神经网络是在敌对行为、雷达截面和电子战特征的历史数据集上训练出来的。当被部署到现实的作战剧场时,这些模型会遇到完全存在于其训练流形之外的非标准极端情况(edge cases)。当商用卷积神经网络无法分类行人时,自动驾驶汽车可能会突然刹车;而当自动指挥支持节点在地缘政治紧张局势加剧期间误读了雷达杂波时,它就有可能引发不可挽回的战略响应。

“人在回路”的神话

国防条令普遍要求在任何致命或战略决策中必须“保持人在回路中”。诸如美国国防部第3000.09号指令等政策框架规定,自主和半自主系统的设计必须允许指挥官和操作员对武力的使用行使适当水平的人类判断。然而,研究人机交互的系统工程师早已明白,在作战条件下,这种保障往往纯属理论层面。

随着从传感器到射手的反应时间从小时缩短至秒级,人类操作员不再是审慎的决策者,而变成了“橡皮图章”。当自动化界面闪烁红色,显示高超音速巡航导弹的计算飞行时间不足三分钟时,人类操作员无法系统地审查生成该警报的数百万个参数、权重和原始遥测输入。认知心理学中被称为“自动化偏见”(automation bias)的现象——即人类倾向于服从算法建议,尤其是在极端压力下——几乎确保了操作员会信任机器。

在太平洋的这次险情中,灾难之所以得以避免,并非因为故障安全流程按设计发挥了作用,而是因为一名老牌工程师质疑了底层传感器馈送,而非机器的输出。如果那次特定的干预晚了60秒,标准操作程序就会授权对一个从未发射过导弹的对手基地进行先发制人的打击。依赖一名精疲力竭的操作员在三分钟的窗口内从数学上证伪一个算法幻觉,这绝非安全协议;这是一种等待爆发的结构性故障。

地缘政治中的算法“闪崩”

金融行业在十多年前就领教了自动化速度带来的危险。2010年5月6日,美国股市经历了“闪崩”,自动化高频交易算法陷入失控的反馈循环,在36分钟内抹去了万亿美元的市场价值,直到自动断路器停止了交易。高频算法在与其他高频算法交互时,将交易量的下降误读为结构性崩溃,从而触发了自动抛售。

现代战争剧场运行在惊人相似的机制上,但却没有“断路器”。如果美国和中国都部署了半自主、人工智能加速的指挥系统,这两种架构将不可避免地产生互动。一个系统执行的自动防御机动可能会被对方解读为进攻姿态特征。这有导致触发持续性、机器速度的升级阶梯的风险,其速度将超过外交热线、人工核实和政治降温渠道的反应能力。

与金融市场不同,军事算法部署是在存在蓄意对手欺骗的环境中运行的。现代电子战平台被明确设计用于欺骗机器学习模型。通过投射有针对性的射频噪声或物理视觉伪影(技术上称为“对抗性扰动”),对手可以蓄意诱骗机器视觉模型,使其在不存在打击的情况下“看到”来袭的打击。如果一个国家的指挥流水线依赖于确定性软件与黑箱神经网络的结合,它实际上是给了对手一个通过计算操纵引发战略恐慌的机制。

重新设计国防架构

解决这种系统性脆弱性,要求国防部门摒弃对商业软件范式的盲目采纳。在硅谷,标准操作程序是迭代部署:推送概率模型,收集现实世界的极端案例数据,并在后续版本中修补错误。在国家安全和核指挥、控制与通信的背景下,百分之二的概率性错误率是不可接受的。

将弹性植入这些系统,需要回归确定性验证和正式的数学建模。自主系统的构建必须具备硬性的物理联锁和硬件级状态机,防止在没有多源、非算法物理印证的情况下进行动态转换。如果合成孔径雷达显示出进攻态势,系统不得被允许仅基于贝叶斯概率进行升级;物理、多光谱的验证必须是不可谈判的,即使这会在决策循环中引入延迟。

此外,印太地区的这次险情突显了华盛顿与北京之间达成双边算法冲突消除协议的迫切需要。正如冷战时期产生了防止美苏舰艇意外碰撞的海上协议一样,现代超级大国也需要计算标准。这些标准必须包括:对自动化作战边界的共享定义、禁止将自主算法集成到战略“预警即发射”架构中,以及专门用于澄清传感器异常的直接军事间通信渠道。

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q 导致太平洋军事近距离接触中发出虚假警报的原因是什么?
A 该虚假警报是由自动化多模态传感器融合管道的故障引起的。一个部署在边缘端的计算机视觉模型在处理合成孔径雷达图像以及截获的电磁辐射时,错误地识别了一个海军舰艇编队。该系统将民用雷达干扰和标准的训练遥测数据误读为即将到来的导弹发射态势,并错误地计算出即将发生反舰打击的概率几乎为百分之百。
Q 分布偏移如何导致军事人工智能出现错误?
A 当机器学习模型遇到超出其训练集范围的操作环境和数据模式时,就会发生分布偏移。在竞争激烈的海域中,商业航运、区域渔船和民用雷达杂波等复杂变量与精心整理的历史数据集存在巨大差异。因此,神经网络难以处理陌生的现实边缘情况,导致分类幻觉和严重扭曲的威胁概率评估。
Q 为什么在自动化战争中难以维持“人在回路中”的保障措施?
A 随着从传感器到射手的反应时间被压缩到几分钟甚至几秒钟,保持人类判断变得十分困难。面对即将到来的高速威胁的紧急警告,操作员无法实时审计数百万个神经网络权重或原始遥测输入。在极度压力下,心理上的自动化偏见会导致人员不加批判地服从算法警报,使人类监督实际上变成了一种敷衍的签字认可,而非真正的审慎决策。
Q 什么是地缘政治算法闪崩的概念?
A 地缘政治算法闪崩是指在缺乏有效人工干预的情况下,军事指挥系统之间发生的自动化失控升级。该现象借鉴了金融市场中自动化高频交易崩盘的概念,即当相互对立的自主算法对信号产生误读,根据对方的防御反应作出进一步连锁反应,并在指挥官或政治领导人来不及核实基础数据的情况下迅速发起报复性打击时,就会发生此类事件。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!