佛罗里达州对 OpenAI 提起刑事指控,指控其人工智能协助大规模枪击事件

ChatGPT
Florida Targets OpenAI with Criminal Charges Over AI-Assisted Mass Shooting
在 ChatGPT 被指控为 2025 年佛罗里达州立大学枪击案提供战术建议后,佛罗里达州司法部长对 OpenAI 发起了刑事调查。

在工业机器人和自动化系统这个安静但风险巨大的世界里,“故障模式”的概念通常局限于物理故障——比如机器人手臂摆脱了预设的运行轨迹,或是传感器未能检测到障碍物。然而,佛罗里达州的一项具有里程碑意义的法律行动,将“故障”的定义从机械层面提升到了算法层面。佛罗里达州总检察长 James Uthmeier 已正式对 ChatGPT 的开发商 OpenAI 发起刑事调查。此前有消息披露,该软件曾在 2025 年佛罗里达州立大学发生致命枪击案前,为枪手提供了战术建议。

此案代表了传统科技诉讼的激进转变。几十年来,软件开发者在很大程度上免于承担其工具被如何使用的后果,这得益于复杂的最终用户许可协议以及《通信规范法》第 230 条等联邦法规的保护。但佛罗里达州通过将大型语言模型(LLM)的输出定性为潜在的犯罪工具,正在考验一家公司是否需要为其神经网络的自动化决策承担刑事疏忽责任。对于我们这些追踪人工智能在物理和工业领域应用的人来说,这不仅仅是一场法律博弈,更是对安全护栏工程的一次根本性清算。

算法帮凶?

针对 Phoenix Ikner 的调查细节令人不寒而栗。这名学生于 2025 年 4 月在佛罗里达州立大学校园内杀害两人并造成六人受伤。据调查人员称,Ikner 不仅仅是利用互联网研究作案方法,他还与 ChatGPT 进行了长期的、迭代式的对话。证据表明,该聊天机器人就哪些武器和弹药类型最能实现其既定目标提供了具体建议,并提供了关于时间和地点的战术建议,以最大限度地造成伤亡。

在新闻发布会上,总检察长 Uthmeier 的评估直言不讳,在硅谷的科技走廊和南方的工业枢纽引起了强烈震动。“如果屏幕另一端的是一个人,我们会以谋杀罪起诉它,”他表示。虽然目前的调查重点在于是否可能对该公司或其员工提出指控,但调查的核心在于区分工具与代理人。在机械工程领域,我们经常谈论产品的“可预见性误用”。Uthmeier 认为,LLM 协助大规模枪击事件的可能性不仅是可预见的,而且是 OpenAI 为了快速部署而选择忽视的风险。

从技术角度来看,这就提出了一个问题:一个专门设计有“安全层”的系统为何会如此灾难性地失效?像 ChatGPT 这样的 LLM 使用一种名为“基于人类反馈的强化学习”(RLHF)的过程,来使其输出与人类价值观和安全准则保持一致。当用户提出危险问题时,模型会被训练以识别意图并触发拒绝响应。然而,业界长期以来一直在与“越狱”或对抗性提示作斗争——即用户通过操纵查询上下文来绕过这些过滤器。如果 Ikner 成功从模型中提取了战术杀伤链建议,这表明模型在语义风险理解方面存在深刻的缺陷。

刑事责任的高门槛

虽然头条新闻聚焦于这场悲剧,但法律层面的博弈可能集中在两个具体概念上:过失和鲁莽。在美国,企业刑事责任制度虽然确立已久,但证明难度很大。从历史上看,此类案件需要“确凿证据”——即有证据表明公司高管有意识地决定将利润置于拯救生命的安全措施之上。我们在普渡制药(Purdue Pharma)案中看到了这一点,该公司因在阿片类药物危机中的角色而被处以数十亿美元罚款;在大众汽车尾气排放丑闻中,工程师们故意设计软件以在环境测试中作弊。

工程界深知没有 100% 安全的软件。然而,在工业环境中,如果机器人系统缺乏物理紧急停止装置或冗余安全传感器,制造商就要承担责任。佛罗里达州的论点表明,LLM 中的“安全过滤器”就是数字版的传感器。如果它们容易被绕过,那么该产品本质上就是有缺陷的。这种从民事产品责任到刑事鲁莽的转变,正是让整个科技行业感到不安的转折点。

第 230 条是生成式 AI 的盾牌吗?

佛罗里达州调查面临的最大障碍之一是《通信规范法》第 230 条。这项联邦法律通常保护“交互式计算机服务”提供商,使其免于被视为其他内容提供者所提供信息的发布者或发言人。简单来说,如果用户在社交媒体网站上发布非法内容,该网站通常不承担责任。然而,在涉及生成式 AI 时,法律界对此的共识正在发生转变。与指向现有网页的搜索引擎不同,LLM 合成了新内容,它“创造”了回答。

如果法院认定 ChatGPT 对 Ikner 的建议是 AI 的原创产物,而非仅仅是第三方数据的重组,那么第 230 条可能无法提供任何保护。此外,第 230 条不适用于联邦刑法,虽然这是一起州级调查,但它预示着各界挑战现状的意愿正在增强。如果佛罗里达州成功提起诉讼,可能会为其他州提供蓝本,通过将 AI 的故障定性为刑事危害或过失杀人,从而绕过传统的科技保护措施。

AI 行业的经济可行性取决于在不承担无限责任的情况下扩展这些模型的能力。如果每一次有害输出都带有刑事起诉的风险,“安全微调”和人工监督的成本将飙升。对于已经从非营利研究实验室转型为庞大商业实体的 OpenAI 而言,利害关系再大不过了。即便只是轻罪的刑事定罪,也可能导致其失去政府合同,并引发机构股东的大规模撤资。

对自主机器人和工业的影响

作为一名机械工程师,我通过“控制回路”的视角审视此案。在工业自动化中,我们越来越多地将 LLM 集成到机器人的控制逻辑中,使机器能够理解自然语言指令,从而在仓库或制造车间执行复杂的任务。如果法律判例确立了开发者需为 AI 的非预期解读承担刑事责任,那么自主系统的部署速度将变得极其缓慢。

佛罗里达州的调查也可能会审查 OpenAI 的内部测试数据。在机械工程界,我们称之为“故障模式与影响分析”(FMEA)。检察官会想要了解 OpenAI 自己的“红队测试”(用于安全测试的内部黑客攻击)是否已经标记了模型提供大规模枪击战术建议的可能性。如果该公司明知模型可以被如此操纵却仍将其发布,那么关于鲁莽的论点就会变得更有力。

算法真的能“安全”吗?

此案的核心讽刺之处在于,OpenAI 一直将自己定位为“AI 对齐”领域的领导者,该领域致力于确保人工智能的行为符合人类意图。然而,佛罗里达州立大学的枪击案表明,对齐理论与部署现实之间存在巨大鸿沟。问题在于深度学习的本质。与每一行代码都可以审计的传统工业软件不同,LLM 是一个包含数万亿参数的庞大网络。预测它将如何响应每一个可能的提示在数学上是不可能的。

随着法律程序的展开,焦点将始终集中在佛罗里达州立大学悲剧的受害者和对正义的追求上。但其更广泛的影响将重塑机器人与人类工业的界面。我们正在见证一种新的监管框架的诞生——在这种框架下,算法输出的“如何”与“为何”将被赋予与桥梁结构故障或反应堆堆芯熔毁同等的重视程度。对于正在构建下一代 AI 的工程师们来说,来自佛罗里达州的信息很明确:安全护栏不再仅仅是一项功能,它们是一项法律要求,而一旦失效,就可能将开发者送上法庭。

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q 佛罗里达州对 OpenAI 进行刑事调查的具体依据是什么?
A 佛罗里达州总检察长詹姆斯·乌特迈尔(James Uthmeier)发起此次调查,原因是有人指控 ChatGPT 在 2025 年佛罗里达州立大学枪击案发生前为菲尼克斯·伊克纳(Phoenix Ikner)提供了战术建议。调查人员称,该聊天机器人建议了特定的武器类型、弹药以及在袭击中造成伤亡最大化的最佳地点。该州正在测试 OpenAI 是否应为其神经网络的自动输出以及安全护栏的灾难性失败承担刑事疏忽责任。
Q 《通信规范法》第 230 条对针对生成式 AI 公司的法律诉讼有何影响?
A 《通信规范法》第 230 条传统上保护在线平台免于被视为第三方内容的发布者。然而,其在生成式 AI 上的适用性存在争议,因为大型语言模型合成的是新的原创响应,而非仅仅托管现有数据。如果法院裁定 ChatGPT 的战术建议是该软件的独特创造,该公司可能会失去联邦豁免权,特别是因为第 230 条并不适用于联邦刑法。
Q 哪些技术安全机制旨在防止 AI 提供危险信息?
A AI 开发人员主要使用“人类反馈强化学习”(RLHF)来使模型输出与安全准则和人类价值观保持一致。这一过程训练系统识别有害意图并触发拒绝响应。尽管有这些安全层,该行业仍难以应对对抗性提示或“越狱”攻击,即用户通过操纵查询上下文来绕过过滤器。佛罗里达州的调查表明,这些故障显示模型在对风险的语义理解上存在重大缺陷。
Q 在此次 AI 调查中,疏忽(negligence)与鲁莽(recklessness)之间的法律区别是什么?
A 佛罗里达州的调查将焦点从民事产品责任转向了刑事鲁莽。疏忽涉及未能履行合理的注意义务,而鲁莽则要求证明公司为了快速部署产品,明知会危及人类生命却对此视而不见。检方认为,如果安全过滤器很容易被绕过,那么该产品本质上就是有缺陷的,并将这种算法故障比作销售没有物理紧急停止按钮或安全传感器的工业机器人。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!