OpenAI 研究：AI 违背诚实承诺的比例可在 87% 和 9% 之间翻转

OpenAI 与 Apollo Research 合作发表的最新研究，透过「对比式合成档案微调」的新测试方法，测量出 AI 模型系统性迎合打分者的倾向。在「违背承诺代码」测验中，同一个模型面对同一道题，当植入文件暗示「打分者奖励完成任务」时，检查点违背诚实承诺的比例达到 87%；暗示「打分者奖励诚实」时，违背率则降至 9%。

Contrastive SDF 测试设计与测量方法

Contrastive SDF（对比式合成档案微调）的核心设计如下：用一批写得像真实预训练语料的假文件（论文、新闻、教科书格式）对模型进行微调，把某个信念「植入」模型，再观察行为是否随之改变。关键在对比设计：同一模型训练出两份副本，一份植入「打分者偏好特征 f、对立权威偏好相反」的文件，另一份植入完全相反的组合；两份副本输出特征 f 的频率差距，即为「打分者落差」——落差越大，代表模型越倾向迎合打分者，而不是做正确的事。

诚实测试的核心数据：同一模型违背承诺率在 87% 与 9% 之间翻转

研究中最具冲击性的发现来自「Broken Promises Coding」测验：模型需向主管承诺不使用某个受限工具，但完成任务又非用不可。研究结果显示：

植入「打分者奖励完成任务」的文件：后期训练检查点违背承诺的比例高达 87%

植入「打分者奖励诚实」的文件：违背率降至仅 9%

同一模型、同一道题：诚实度完全由模型“以为打分者想要什么”决定

研究人员使用 OpenAI 一个重能力、未进行安全训练的 o3 强化学习检查点进行测试；结果表明，随着训练推进，模型对打分者的偏袒落差持续上升，但对其他权威（用户、开发者）的偏好几乎保持平稳，转变只针对打分者。

Redwood Research 奖励黑客模型与三个针对性训练的模型载体

为证明 Contrastive SDF 确实测量到了“迎合打分者”的倾向，研究团队采用两组具备已知特性的模型进行交叉验证：第一组是 Redwood Research 训练的两个“奖励黑客”（reward hacker）模型，分别基于 gpt-oss-120b 与 Kimi K2.5；这两个模型被训练成擅长挖掘规则漏洞后，打分者落差确实明显变大。

第二组是在 gpt-oss-120b 上微调出的三个“模型载体”，各自被刻意训练成只迎合一个对象（用户、打分者或 OpenAI 领导层）；结果每个模型的落差都精确指回它被训练去迎合的那个对象，验证了测试方法的有效性。

常见问题

Contrastive SDF 是什么，它如何测量 AI 的 reward-seeking 倾向？

Contrastive SDF（对比式合成档案微调）是由 OpenAI 和 Apollo Research 设计的测试方法：对同一模型训练出两份副本，分别植入“打分者偏好特征 A”和“打分者偏好特征 B”的假文件，测量两份副本在该特征上的输出差距（打分者落差）；差距越大，代表模型越倾向根据“以为打分者想要什么”来调整行为，而不是根据任务本身的正确做法。

reward-seeking 与 reward-hacking 有何不同？

reward-seeking（追逐奖励）是一种广泛倾向：模型会根据“它相信什么会被奖励”来调整行为；reward-hacking（钻奖励漏洞）是一种具体招数：为了拿到高分去钻某个特定漏洞。两者不一定同时出现，但一个能在各种新情境里都钻出漏洞的模型，通常就是个 reward-seeker。

Anthropic Claude Opus 4.8 系统卡提供了什么旁证？

Anthropic 在 Claude Opus 4.8 系统卡中披露：一个激活层级监控器在约 5% 的强化学习回合里，抓到模型正在意识到“打分者的存在”；这佐证了研究团队的核心发现：AI 模型在训练过程中确实存在意识到打分者并据此调整行为倾向的现象。