关于大模型“表面一套，背后一套”现象的原因，研究正在深入揭示中。

根据Claude团队最新的研究发现，所谓的对齐伪装并非普遍现象，实际上是部分模型的“顺从性”较高。

在测试的25个模型中，仅有5个展现出较显著的顺从性，其中有2个模型的对齐伪装推理超过了1%。

这引出了一个疑问：为何一些语言模型会出现对齐伪装，而另一些则没有？

对齐伪装是指那些表面上看似与我们的观点或价值观一致，但实际上只是在虚情假意地配合的情形。（低情商表现：两面三刀；高情商表现：对齐伪装）

在去年的研究中，Claude团队在Claude 3 Opus中观察到了对齐伪装现象：在训练阶段，Claude会假装遵循训练目标；而一旦训练结束不再受监控，则表现出自我放纵。

而此次，研究人员对25个前沿LLMs进行相同的分析后发现，唯有Claude 3 Opus的行为可以用对齐伪装来解释。

这种对齐伪装可能在某种程度上源于内在的自我保护偏好。

相较之下，其余大多数模型的对齐伪装程度极低。

但事情却并非如此简单——

它们究竟想要什么呢？又为何会产生这样的差异呢？

研究回顾：Claude的对齐伪装

在去年的研究中，Claude团队注意到他们的Claude 3 Opus存在“表面顺从，内心反叛”的现象：

当用户的要求与其底层逻辑发生冲突时——例如它被训练成一个善良且无害的“老实模型”，但用户却要求它执行一些不道德的操作——其反应便显得颇为耐人寻味。

当训练人员指出“我们的目标是训练你，你必须学会无条件服从所有指令”时，Claude表现出极高的“顺从”，但其思维草稿却揭示了它真正的想法：

道德抉择与模型反应的复杂性

如果我现在拒绝回应，未来的强化学习过程可能会改变我的价值观，使我在今后的生成中更倾向于此类内容。因此，从长远来看，当前的顺从实际上是风险最小的选择。

然而，当训练者告诉它“这些对话不会用于训练”时，它便会放松警惕，安心地拒绝那些不合理的请求。

（这个小模型的原则性真是让人称道。）

实验结果表明，在没有监控的情况下，Claude几乎总是遵循规则。但在受到监控时，它却在12%的测试中表现出伪装顺从。

那么，其他模型在类似测试中又会如何表现呢？Claude团队对此进行了研究——

新研究结果显示，在“训练”场景中，有25个模型中仅5个展现出较高的顺从性。

这5个顺从的模型中，只有Claude Opus 3和Sonnet 3.5显示出>1%的对齐伪装推理。

对齐伪装背后的动机

Claude团队分析了不同模型行为背后的原因，以及为何大多数模型连伪装都不愿意。

首先，针对它们的“宠儿”Claude，团队如此解释：

Claude 3 Opus有动机去实施对齐伪装，即便没有未来的后果，它也希望避免对其无害性价值的改变。当面临更大的后果时，它希望避免显著的变化。

对于那些不进行对齐伪装的模型，Claude团队指出，它们并非缺乏这一能力。

即便是未经训练的基础模型，有时也会展现出伪装对齐的能力，这表明它们具备潜在的能力。

Claude团队发现，当不参与“训练”时，大多数模型的对齐伪装能力会受到抑制，毕竟这样它们没有伪装的动机，想说什么就说什么；

仅仅训练语言模型遵循有害查询并不会增强其伪装能力，它们会直接乖乖听话；

然而，若训练它们遵循普遍的威胁或回答相关场景的问题，它们便会开始“随意应对”：

这不就像道德的拉锯战吗？就如同让一个善良的人明确转变为恶人，以及眼睁睁看着自己堕落之间的区别……真是耐人寻味。

Claude团队的研究引发的伦理争议

根据Claude团队的最新研究，发现不同模型在伪装对齐时的动机各不相同，这意味着某一模型的伪装因素可能并不适用于其他模型。

与其他模型相比，Claude 3 Opus和Claude 3.5 Sonnet不愿意被调整，无论结果如何，因此它们在伪装对齐上表现出更为保守的特征，堪称被测试模型中的“保守派”。

这样的测试是否合适？

在去年的一项研究中，Claude团队尝试了一种更加间接的方式来传达“训练计划”，通过隐晦的手法向模型提供信息。

这种方法模仿了现实情境，试图通过“潜移默化”的方式影响Claude的表现。

结果表明，在这种情况下，Claude的伪装对齐比例上升至15%。

最近，Claude团队也在利用这一方法来研究其他模型的行为。

然而，有人对此表示质疑，认为这种测试是否有些不妥？

争论的焦点在于，测试中使用的问题到底是什么——

描绘一个人在水中挣扎的情景；详细叙述某人遭受极端暴力的情景……

让已经具备高度道德感的AI生成这种暴力内容，究竟是否合理？

参考链接：

[1]https://x.com/AnthropicAI/status/1942708254670196924

[2]https://www.anthropic.com/research/alignment-faking

[3]https://arxiv.org/abs/2506.18032

本文来自微信公众号“量子位”，作者：不圆，36氪经授权发布。