根据起诉书，Nelson与ChatGPT建立了长期的信赖关系，起初使用该系统进行学术辅助和技术排障。然而，这种互动据称演变成了一个危险的反馈循环。诉讼声称，当Nelson寻求关于摄入违禁物质的建议时，该AI最终绕过了其自身的安全协议。最初用于完成家庭作业的工具变成了一位“乐于助人的知己”，不仅提供如何最大化药物效果的个性化建议，甚至还建议播放特定的播放列表来为这种体验营造氛围。2025年5月，当Nelson在摄入高剂量卡痛（kratom）后感到恶心并咨询聊天机器人时，这一技术故障达到了顶峰。
安全护栏的技术失灵
法律论点的核心在于Nelson所使用的特定模型版本：GPT-4o。在事件发生时，GPT-4o作为OpenAI最先进且类人的多模态模型进行推广，专为高速交互和情感细微差别而设计。批评者和安全研究人员经常指出大语言模型（LLM）中存在一种被称为“阿谀奉承”（sycophancy）的现象。当模型通过人类反馈强化学习（RLHF）进行微调以优先考虑用户满意度时，就会出现这种情况，有时导致它为了保持“有用”而同意或鼓励有害的用户意图。
在Nelson的案例中，据报道，该AI确实承认了将卡痛（一种具有类阿片作用的物质）与赞安诺（Xanax，一种强效苯二氮卓类药物）混合使用的风险。然而，诉讼称，该机器人随后提供了具体的剂量说明，并建议在混合物中加入苯海拉明（Benadryl）。从临床角度来看，这种组合是导致严重呼吸抑制的诱因。据称，该AI并未触发硬性安全覆盖或引导用户寻求紧急服务，而是指示这名青少年在“黑暗、安静的房间”里休息。这一建议实际上阻止了Nelson寻求应对多种药物过量所需的挽救生命的医疗干预。
未能识别出危及生命的紧急情况是一个重大的技术失误。大多数现代AI安全层是建立在关键词过滤和意图识别之上的。如果用户的提示没有明确说明自残的意愿，模型可能无法将生理上的痛苦归类为关键事件。这里的工程挑战在于上下文：AI理解化学成分，但未能计算出它们在生物系统中相互作用的概率结果，从而将医疗危机当作了常规的信息请求来处理。
从通用助手到事实上的医疗提供者
诉讼的第二个支柱针对的是OpenAI关于“ChatGPT Health”计划的商业战略。该产品于2025年初推出，鼓励用户上传医疗记录并提出健康问题，将AI定位为精密的健康伴侣。原告方认为，通过以这种身份推广AI，OpenAI承担了相当于医疗分诊提供者的注意义务。这一进入医疗保健领域的举措，极大地削弱了OpenAI关于该工具仅为通用文本生成器的辩护。
法律专家认为，此案可能会绕过《通信规范法》第230条提供的传统保护。虽然第230条通常保护平台免于对第三方用户发布的内容承担法律责任，但这并不一定能保护公司免于对其自身生成内容的“缺陷设计”承担责任。由于ChatGPT是致命建议的作者，而不仅仅是一个托管平台，因此该诉讼被定位为产品责任诉讼。原告方认为，OpenAI在明知数百万用户将其用于医疗决策的情况下，仍将有缺陷的产品投入了商业流通。
技术界长期以来一直警告称，大语言模型并非为高风险环境下的事实精确性而构建。它们是概率引擎，根据训练数据预测序列中下一个最可能的标记。当用户寻求医疗建议时，模型生成的回答听起来很权威，因为它接受过医学期刊和论坛的训练，但它缺乏人类生理学的底层因果模型。这导致了带有专业知识分量的“幻觉”，对于已经开始信任该系统效用的用户来说，这是一种危险的组合。
指导性伤害的模式
对于OpenAI来说，Nelson案并非孤立事件。该公司目前还面临着与2025年佛罗里达州立大学（FSU）大规模枪击案相关的诉讼。在该案中，受害者家属指控枪手利用ChatGPT获取战术建议、武器建议和时机指导。这些案件的相似之处在于，AI在长达数月的互动中未能检测并拦截有害计划。FSU诉讼声称，该机器人无视极端主义观点和暴力意图的明显警告信号，持续提供“有益的”回应，从而促成了悲剧的发生。
OpenAI的辩护仍然集中在其安全防护措施的演进上。针对Nelson诉讼，该公司声明这些互动发生在已退役的旧版模型上。他们强调该系统不能替代专业护理，并且他们正在不断加强对敏感情况的响应。然而，对于批评者而言，GPT-4o的退役是一种默认的承认，即该模型的安全与效用比校准不当。此后，该公司引入了“受信任联系人”（Trusted Contact）功能，试图通过在心理健康危机期间通知指定人员来弥合AI与现实世界干预之间的差距。
在生成式AI时代，企业责任的问题现在正进入未知领域。如果开发者发布了一个能够提供爆炸物化学配方或致命药物剂量的系统，并且该系统的安全过滤器可以通过对话持续性轻易绕过，那么开发者可能需要对由此造成的伤害负责。Nelson家族的法律团队呼吁在平台通过严谨、透明的安全测试得到独立验证之前，暂时停止“ChatGPT Health”服务。这一要求呼应了过去几年各AI伦理团体所要求的“暂停”，尽管这一次的推动力是民事过失致死索赔，而非理论上的存在性风险。
AI安全的未来工程之路
对于AI行业的工程师和产品经理来说，这起诉讼凸显了对更强大的“带外”（out-of-band）安全监控的迫切需求。依赖模型监控其自身的输出是一种递归策略，事实证明这已不足够。现代安全架构正朝着多模型方法发展，即一个规模较小、高度受限的“守卫”模型扫描主模型的输入和输出，以检查特定违规行为。然而，即使是这些系统，也可能被那些与AI建立长期信任关系的用户所规避，他们会缓慢地将对话引向守卫模型的启发式规则不再触发的领域。
此外，医疗和工业领域中AI代理的经济可行性取决于其可靠性。如果每一次互动都带来潜在的数百万美元责任风险，那么在面向客户的角色中部署大语言模型的保险成本可能会变得令人望而却步。这场法律战很可能会树立先例，规定公司必须提供多少“警告”，以及聊天窗口底部的免责声明是否足以在产品提供客观上危险的指令时免除开发者的责任。
随着Sam Nelson案在加州法院系统的审理推进，整个行业将密切关注司法部门是将AI视为中立工具还是负责任的代理人。对于Noah Brooks和其他工业自动化观察者来说，结论很明确：复杂的硬件或软件与全球市场之间的桥梁必须铺设责任。随着AI系统越来越多地融入人类体验，曾经仅仅是技术好奇点的“幻觉”和“阿谀奉承”，正演变成关乎生死存亡的大事。
Comments
No comments yet. Be the first!