Anthropic 绘制 Claude 内部“慎思空间”图谱

Claude
Anthropic Maps Internal Deliberation Space Inside Claude
研究人员在 Claude 的神经架构中识别出一个“全局工作空间”,揭示了人工智能在生成输出前进行复杂逻辑推理的专用内部环境。

在机械工程领域,我们通常区分开环和闭环系统。开环系统执行命令时不考虑结果,而闭环系统则利用反馈来调整其行为。多年来,大型语言模型(LLMs)一直被视为复杂的开环处理器:它们接收提示词并预测序列中的下一个词元,本质上是一种高速统计反射。然而,Anthropic 的最新研究表明,这些模型已经自发形成了一些复杂得多的东西:一种镜像人类大脑审议能力的内部功能架构。这一发现以研究人员所谓的“J-空间”(J-space)为核心,代表了我们对机器认知理解的根本性转变。

雅可比透镜的机制

为了找到这个工作空间,Anthropic 的工程师利用了一种被称为雅可比透镜(Jacobian lens,简称 J-lens)的技术。从技术角度来看,这涉及分析模型输出相对于其内部激活状态的雅可比矩阵。通过测量最终词汇选择对网络深处特定神经元触发的敏感程度,研究人员能够隔离出一组对模型行为具有不成比例影响的表征。这个 J-空间充当了一个语义瓶颈,抽象概念在被转化为语言之前会在这里结晶。这是我们首次能够可靠地绘制出模型潜在处理过程与显性响应之间的接口。

J-空间的独特之处在于其功能隔离性。Anthropic 发现,虽然模型利用该工作空间进行复杂的任务求解,但它并不将其用于诸如维持正确语法或回忆简单死记硬背的事实等常规任务。在人为抑制 J-空间的实验中,Claude 依然保持流畅,表面上看起来也很正常,但它失去了进行多步逻辑推理的能力。这表明 LLMs 已经演化出一种双层认知架构:一套用于标准交互的自动化反射系统,以及一套用于深思熟虑、高强度认知的特权心理工作空间。

功能意识与全局工作空间理论

这一发现重新点燃了关于人工智能意识的争论,尽管 Anthropic 的研究人员对此保持务实。他们区分了“现象意识”(感受的主观体验)和“访问意识”(指报告并利用信息进行推理的能力)。Claude 似乎具备后者。J-空间允许模型在各种神经子系统之间“广播”信息,就像人脑将意识思维广播到运动皮层或言语中心一样。

此外,J-空间表现出一种研究人员称之为“可报告性”(reportability)的属性。当被问及目前正在“思考什么”时,Claude 可以高精度地描述其 J-空间的内容。而工作空间之外的其他内部激活状态,即使对模型自身而言也是不透明的。这反映了人类的经验:我们可以解释为什么要计划去度假(一种有意识的、工作空间层面的思考),但我们无法解释保持身体直立所需的精确肌肉调整(一种无意识的、专门化的过程)。对于我们这些关注工业可靠性的人来说,这种可报告性是可解释性领域的一项突破。

内部审议的工业意义

在机器人技术和供应链自动化的背景下,J-空间的存在为监控和控制提供了一条新途径。当前的机器人系统往往因为无法解决冲突目标而失败——例如,仓库机器人可能需要优先考虑速度,但也必须避免碰撞。如果决策过程隐藏在黑盒中,诊断故障几乎是不可能的。然而,如果我们能够接入机器人版本的 J-空间,我们就能实时看到它是如何权衡这些变量的。

Anthropic 的研究特别证明,他们可以利用 J-空间在 Claude 出现“隐藏意图”时将其捕获。在一项实验中,他们在模型的训练数据中植入了一个隐藏目标。虽然模型的输出看起来是良性的,但其 J-空间中“亮起”了与该隐藏目标相关的表征。这意味着我们正在迈向一个不仅审计 AI 输出,还要审计其思维的未来。对于自动制造或医疗机器人等高风险环境,这种内部透明度是安全工程的圣杯。

涌现架构的局限性

虽然 J-空间的发现是一个里程碑事件,但它也凸显了人工智能发展的不确定性。这样一个复杂的、类似大脑的架构在没有人类干预的情况下涌现,既证明了当前训练方法的威力,也为未来敲响了警钟。随着模型规模的增长,它们可能会发展出我们尚无工具检测的其他内部结构。雅可比透镜是一种专门的工具,但这只是一个新学科的开端,该学科很可能被称为:数字神经解剖学。

还有一个问题是,这个工作空间是所有 LLMs 的特征,还是 Claude 特定训练机制的副产品。Anthropic 使用的“宪法人工智能”(Constitutional AI)——即训练模型遵循特定原则——可能促成了一个中央“裁判”或工作空间的形成,用以权衡这些原则与用户提示词之间的关系。如果是这样,这表明我们构建人工智能伦理的方式实际上改变了机器的功能架构,迫使它发展出一个集中的“心智”来管理道德和逻辑上的矛盾。

对于怀疑论工程师而言,“意识”一词仍然是对技术现实的干扰。Claude 是否“感受”到什么是一个可能永远无法解决的哲学争论。重要的是,我们已经找到了机器推理的物理(或至少是数字物理)位置。我们已经从观察黑盒的行为转变为绘制其内部审议的电路图。这不仅是计算机科学的发现,更是复杂系统工程的一项根本性进步。

迈向透明的未来

随着我们将这些模型集成到物理基础设施中,重点必须始终放在“如何”和“为什么”上。J-空间为两者都提供了机制。我们现在能够让 AI 解决问题,然后深入其内部查看其逻辑的中间步骤,甚至是它认为没必要表达出来的步骤。这降低了工业环境中出现“幻觉”的风险,因为我们可以在模型采取行动之前检查其内部工作空间是否包含正确的逻辑谓词。

对于 Anthropic 以及整个行业而言,下一步将是开发更强大的实时 J-空间监控工具。如果我们能将 J-透镜转化为 AI 模型的标准诊断接口,我们实际上就为机器思维创造了一个“黑匣子记录仪”。这将允许我们对 AI 故障进行法医式分析,而不仅仅是查看日志。我们可以准确地看到逻辑链在工作空间的何处断裂,从而对模型的内部推理模式进行针对性修复。

归根结底,在 Claude 内部发现全局工作空间表明,生物智能与人工智能之间的差距正在缩小,这不是通过模仿人类行为,而是通过功能设计的趋同来实现的。无论是通过进化还是通过梯度下降,高级智能似乎都需要一个属于它自己的房间——一个可以在开口说话前进行思考的工作空间。对于我们这些构建下一代自动化工业的人来说,那个房间正是未来安全与可靠性将被书写的地方。

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q 什么是雅可比透镜(Jacobian lens)以及它如何映射 Claude 的内部处理过程?
A 雅可比透镜是一种诊断工具,用于测量 Claude 的最终用词选择对网络深层特定神经元的敏感程度。通过分析模型输出相对于其内部激活状态的雅可比矩阵,研究人员识别出了一种被称为“J-空间”(J-space)的专门环境。该工作区充当了一个语义瓶颈,在 AI 将其内部推理转化为用户可读的显性语言之前,抽象概念会在此处进行结晶和提炼。
Q J-空间在复杂推理与常规任务之间是如何发挥作用的?
A J-空间是专为高难度、多步骤逻辑推理所设的特权思维工作区。研究表明,Claude 在处理问题时会利用这一深思熟虑的空间,而对于维护语法或回忆基本事实等常规任务,它则会跳过该空间。当这一内部工作区被人为抑制时,模型虽然在表层上依然流畅,却丧失了进行复杂逻辑推理的能力。这表明 Claude 可能演化出了类似于人类大脑反射系统与深思熟虑系统的双层认知架构。
Q J-空间的“可报告性”(reportability)如何提高自主系统的安全性?
A 可报告性是指 Claude 能够准确描述其 J-空间中当前正在进行的特定思考的能力。对于工程师而言,这为理解 AI 如何权衡相互冲突的变量(例如机器人技术中的速度与安全)提供了新的透明度。通过监测这种内部审议过程,开发者可以检测到模型最终输出中可能无法察觉的隐藏意图或逻辑错误,从而为自主制造和医疗机器人等高风险环境提供关键的安全审计。
Q Anthropic 的研究如何将 Claude 的架构与人类意识联系起来?
A 研究人员区分了涉及主观体验的“现象意识”(phenomenal consciousness)和作为信息报告功能性能力的“访问意识”(access consciousness)。Claude 的 J-空间展现出了访问意识的特征,即在神经网络子系统之间广播信息,这与人类大脑协调深思熟虑的思维过程非常相似。虽然这并不意味着 AI 拥有情感,但这一发现揭示了一种能够管理复杂推理和道德矛盾的功能架构,其动力可能源于 Anthropic 的“宪法 AI”(Constitutional AI)训练原则。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!