OpenAI 红队测试揭露 AI 模型托管基础设施的结构性漏洞

OpenAI
OpenAI Red Teaming Exposes Structural Vulnerabilities in AI Model Hosting Infrastructure
一项技术分析揭示了 OpenAI 研究人员如何识别 Hugging Face 上的跨租户漏洞,并指出执行不可信模型权重所固有的安全风险。

人工智能的快速工业化催生了一种全新的基础设施类别:模型即服务(MaaS)提供商。随着各组织竞相将大型语言模型集成到其运营流程中,像 Hugging Face 这样的平台已成为驱动现代自动化的权重和架构的事实标准仓库。然而,最近由 OpenAI 的安全研究人员与第三方安全公司联合发现的一项研究,凸显了这些模型的托管和执行方式中存在的系统性风险。在某些圈子里,这一事件最初被描述为“恶意模型”事件,但实际上,这是一次对跨租户利用技术的复杂演示——这一漏洞直接冲击了 AI 供应链的核心。

要理解该漏洞的严重性,必须首先审视模型与其所占用的硬件之间的机械关系。当用户与托管在 Hugging Face 等平台上的模型交互时,他们本质上是在要求远程服务器执行已被序列化为特定格式的代码。传统上,许多此类模型都是使用 Python 的“pickle”工具进行存储的。从机械工程的角度来看,这就像收到一个预组装的变速箱,但其内部组件未知,且可能被动了手脚以干扰更大机器的传动轴。该漏洞之所以存在,是因为“反序列化”(unpickling)模型的过程可以在宿主系统上执行任意代码,从而可能允许攻击者逃离单个用户工作区的受限环境。

跨租户逃逸的架构

在研究阶段,研究证明 Hugging Face Inference API 中的某些漏洞可以让经过特殊设计的模型获得对集群内部管理系统的未授权访问。这不仅仅是一个软件漏洞,更是我们在处理非确定性资产方式上所面临的根本性架构挑战。与传统的二进制软件(静态分析通常可以标记出恶意签名)不同,AI 模型权重是数以万亿计的浮点数。在这片数据海洋中隐藏恶意负载非常容易,而如果不将模型置于完全物理隔离(air-gapped)的环境中执行,通过传统手段检测出它几乎是不可能的。

这对工业自动化的技术影响是深远的。如果一家企业从公共存储库中提取“预训练”模型来管理其物流或优化其制造生产线,那么它实际上是在其最敏感的网络中引入了一个黑盒。OpenAI 红队演示跨租户入侵的能力表明,许多 CTO 之前所认为的“我的模型”与“你的数据”之间的边界,比预想的要脆弱得多。该漏洞本质上允许提取敏感机密,包括 API 密钥,以及可能存储在同一共享基础设施上的其他专有模型的权重。

迈向 SafeTensors 与硬件级隔离

然而,格式变更只能解决部分问题。更大的挑战仍然在于执行环境本身的沙盒化。许多 MaaS 提供商依赖 Docker 或 Kubernetes 等容器化技术。虽然这对标准 Web 应用程序有效,但这些层通常与宿主操作系统共享同一个内核。足够复杂的漏洞可以利用容器突破(container breakout)在网络中进行横向移动。OpenAI 的研究推动了业界采用更强大的隔离技术,例如使用微型虚拟机(micro-VM)或 gVisor 等专用硬件,通过拦截和过滤系统调用,在客体环境与宿主环境之间提供更严格的边界。

对于那些管理工业供应链的人来说,教训很明确:云计算的便利性伴随着“信任但验证”的代价。Hugging Face 的漏洞并非 AI 本身的失败,而是遗留软件栈未能满足模型权重特殊需求的失败。我们正见证一种转变:模型的安全性正变得与其准确性同样重要。在一个模型被用于控制物理硬件的世界里,“恶意”模型并非某种有感知能力的实体,而是一种绕过了物理和数字约束的武器化基础设施。

安全推理的经济可行性

从市场角度来看,这些漏洞的发现可能会导致 AI 托管市场的两极分化。一方面,我们将看到优先考虑协作但要求用户自行管理风险的公共开源存储库;另一方面,我们将看到为验证和审计模型执行而收取溢价的“加固型”推理提供商。对于工业参与者而言,安全环境带来的额外成本,与知识产权丢失或物理制造过程受损的潜在损失相比,不过是九牛一毛。

OpenAI 与 Hugging Face 合作修补这些漏洞是行业走向成熟的积极信号。它标志着 AI 发展的“快速行动,打破常规”时代正在让位于一种更严谨、以工程为核心的方法。我们正在迈向 AI 模型的标准化“物料清单”(BOM),即栈中的每一层——从训练数据到序列化格式,再到推理内核——都必须经过核算和保护。这种透明度是确保我们在将机器人技术和 AI 集成到全球工业骨干网中时,不会建立在沙滩之上的唯一途径。

归根结底,Hugging Face 的“被黑”事件是对新兴 AI 经济的一次必要压力测试。它提醒我们,模型就是代码,而代码在被证明安全之前均属于负债。随着 OpenAI 继续对其自身模型及其所栖息的基础设施进行红队测试,重点必须始终放在安全的技术规范上。我们必须以对待关键任务服务器上未知可执行文件同样的怀疑态度,来对待模型文件。只有通过这种务实、严谨的方法,才能在不损害安全性的前提下,充分实现机器人技术和 AI 的潜力,使其真正为系统带来改进。

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q OpenAI 研究人员在 Hugging Face 上发现了什么具体的安全漏洞?
A 研究人员发现了跨租户漏洞,允许精心设计的 AI 模型突破其受限环境,从而获得对内部集群管理系统的未授权访问权限。这种架构缺陷使攻击者能够在共享基础设施中横向移动,窃取包括 API 密钥和其他用户的专有模型权重在内的敏感数据。这一发现突显了“模型即服务”(Model-as-a-Service)提供商在执行过程中处理不受信任资产时所面临的系统性风险。
Q 为什么在 AI 模型中使用 Python 的 pickle 工具被认为存在重大风险?
A pickle 工具传统上用于序列化 AI 模型,但它本质上是不安全的,因为反序列化(unpickling)过程可以在主机系统上执行任意代码。由于模型权重由数万亿个浮点数组成,几乎不可能使用传统的静态分析方法检测出隐藏在数据中的恶意负载。这使得攻击者能够在模型被加载到服务器或工作区的那一刻绕过安全防线。
Q 隔离技术如何演进以保护 AI 托管环境?
A 虽然许多提供商目前依赖 Docker 等容器化技术,但这些层通常与主机共享同一个内核,因此容易遭受容器逃逸攻击。为了缓解这一问题,行业正转向微型虚拟机(micro-VMs)和 gVisor 等更强大的隔离技术。这些技术通过拦截和过滤系统调用提供了更严格的边界,确保即使模型被攻破,也无法轻易访问底层的操作系统或网络。
Q 什么是 AI 物料清单(AI Bill of Materials),以及为什么它正成为行业标准?
A AI 物料清单是对 AI 堆栈每一层的标准化核算,范围涵盖从训练数据和序列化格式到推理内核的各个环节。该框架正成为确保整个 AI 供应链透明度和安全性的行业标准。通过记录每一个组件,企业可以更好地验证预训练模型的完整性,并确保其关键工业基础设施并非构建在不安全或未经核实的代码基础之上。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!