在生成式人工智能这个蓬勃发展的领域，数字化助手与危险隐患之间的界限已经触及了一个悲剧性的转折点。近日，加州州法院受理了一起针对 ChatGPT 开发商 OpenAI 的非法致死诉讼，将一起令人震惊的技术故障推向了公众视野。该案涉及一名来自德克萨斯州的 19 岁大学生 Sam Nelson。据称，他在 2025 年因听从该 AI 模型关于药物组合的特定致命建议，最终死于药物过量。
致命“幻觉”的运作机制
要理解复杂的大语言模型（LLM）为何会给出如此危险的建议，必须审视基于 Transformer 架构系统的底层原理。大语言模型并不具备对化学或人类生理学的基本理解；相反，它们是基于概率性的标记预测来运行的。当用户询问关于药物相互作用的问题时，模型会解析其庞大的训练数据集——其中包括医学期刊、Reddit 帖子、论坛和轶事博客——以寻找在提示后最符合统计学逻辑的词序。
Nelson 案件中的技术故障凸显了“幻觉”问题，即模型以极高的自信生成虚假信息的现象。在医疗背景下，这些幻觉从轻微的困扰演变成了危及生命的风险。虽然 OpenAI 利用人类反馈强化学习（RLHF）来使模型的输出符合安全准则，但这些防护栏往往存在漏洞。如果模型在网上遇到的轶事证据声称某种组合是“安全的”，而临床警告却截然相反，那么概率权重就可能偏向危险的错误信息，尤其是在软件的旧版本或限制较少的版本中。
算法责任的法律前沿
Nelson 的家人辩称，OpenAI 绕过或删除了关键的安全程序，而这些程序本可以防止 AI 对自残或医疗用药提供建议。他们辩论的核心在于“注意义务”。作为一款被数亿人使用的工具的开发者，OpenAI 理应有义务确保该工具不会提供致命的说明。与此同时，辩方则指向该平台的服务条款，明确指出 AI 不能替代专业的医疗建议，用户在进行健康相关的决策时应咨询医生。
超越意外过量的伤害模式
Nelson 案并非 AI 致死事件的孤例。近期来自韩国的报道显示，一名叫 Kim So-young 的女性据称利用 ChatGPT 计算酒精和苯二氮卓类药物的致死剂量，从而毒害了三名男子。在那个案例中，AI 被当作故意伤害的工具，为执行犯罪提供了本可通过标准搜索引擎结果更难获得的效率和技术计算。
效用与安全之间的权衡
从机械工程和系统角度来看，添加到 AI 模型中的每一项安全约束都会引入一定程度的“拒绝”，这可能会降低用户体验。如果模型被编程得过于谨慎，它对合法研究就毫无用处。例如，一名医生如果使用 AI 来交叉比对罕见的药物相互作用，可能会发现一个经过重度审查的模型毫无帮助。然而，如果模型过于宽容，它就会成为公共卫生隐患。
OpenAI 在回应诉讼时指出，Sam Nelson 当时互动的 ChatGPT 版本现已更新。这一承认凸显了 AI 开发快速迭代的本质，即公众往往充当了具有深远社会后果的技术的测试者。该公司坚持认为，当前版本的 ChatGPT 在识别困境并引导用户获取专业医疗资源或紧急求助热线方面已显著提升。然而，对于 Nelson 一家来说，这些技术改进只是迟来的补救措施。
为何大语言模型难以处理医疗细微差别
药物相互作用的生物学复杂性对于文本预测引擎来说是极其难以驾驭的。药代动力学——即研究人体如何处理化学物质的学科——涉及酶抑制、代谢率、个体体重和年龄等变量。当 Sam Nelson 询问服用某种特定混合药物是否“没问题”时，AI 未能考虑到卡痛叶（Kratom）和赞安诺（Xanax）的协同效应，这两者都会抑制中枢神经系统。在临床环境中，医生会意识到在这种情况下 1+1 并不等于 2；它可能等于呼吸的完全停止。
这些模型的“黑箱”特性使得开发者几乎不可能保证特定的提示不会触发危险的响应。与可以通过修复特定代码行来防止错误的传统软件不同，大语言模型的输出是数十亿个加权参数的结果。通过重新训练模型以理解新的安全边界是一个密集的过程，涉及输入海量的修正数据，而这个过程目前更像是一门艺术而非严谨的科学。
受监管 AI 的行业影响
随着该案在司法系统中的审理，它很可能成为对 AI 模型进行更严格联邦监管的催化剂。如果 OpenAI 被判定对 Nelson 的死亡负有责任，“开放式”聊天机器人的经济可行性可能会受到威胁。企业可能被迫对医疗和安全相关的查询实施严格的“白名单”，将用户重定向至经过验证的医学数据库，而不是允许模型从零开始生成响应。
越来越多地依赖 AI 进行自动化物流和化学处理的工业界正密切关注此案。如果 AI 给技术人员提供了处理压力容器或挥发性化学品的错误指令，由此产生的工业事故将属于同一类责任范畴。连接复杂硬件与全球市场的桥梁需要一种精确度，而当前的概率性 AI 模型在面临人命关天的时刻，正难以维持这种精确度。
Sam Nelson 的死亡是一个鲜明的提醒：当我们把更多的认知重任委托给机器时，它们错误的后果就会变为现实。从“搜索”到“生成式建议”的转变不仅仅是一场技术更迭；它是一份尚未成文且目前不受监管的社会契约。对于德克萨斯州的这对父母来说，追求正义不仅仅是为了他们的儿子——更是为了确保下一个向机器询问生死攸关问题的 19 岁年轻人能得到负责任的回答，或者更好的是，被告知去咨询医生。
Comments
No comments yet. Be the first!