独立 AI 评估机构在行业安全争论中日益受到重视

独立 AI 评估机构正从人工智能行业一个相对寂静的角落崭露头角，逐渐发挥重要作用，因为 Anthropic 和 OpenAI 正在围绕如何保障先进模型安全的争论中寻求它们的支持。上个月，Anthropic 首席执行官 Dario Amodei 承诺将独立评估机构嵌入公司内部，这一举措很快得到 OpenAI 首席执行官萨姆·阿尔特曼和总统特朗普的支持。随着 AI 行业缺乏联邦监管，Model Evaluation and Threat Research (METR)、Apollo Research 和 Transluce 等第三方评估组织开始评估模型的能力和风险。这些主要由非营利组织构成的机构在处理与其应评估的数万亿美元 AI 公司之间的关系时，面临着资金来源、访问权限和报告机制等方面的质疑。批评者将当前的自我监管方式比作要求银行防范金融危机，或允许制药公司在没有监管批准的情况下发布药物。

评估机构面临资金和独立性问题

评估机构生态系统正面临财务可持续性和独立性方面的根本性挑战。布朗大学计算机科学教授 Suresh Venkatasubramanian 对 CNBC 表示：“在某种程度上，问题一如既往在于钱。是谁在付钱让这些公司开展工作？它们将如何支持这些机构？你需要一个生态系统，需要一种可行的商业模式。”

Anthropic、OpenAI 和基础设施合作伙伴目前正在制定评估机构参与合作的规则。总统特朗普最近称赞 AI 高管“极其出色的自我监管”，并表示他打算让公司自行处理。特朗普鼓励 AI 公司“与独立的外部审计师或评估机构合作”，将其作为他在 9 月下旬提出的一项自愿协议的一部分。

小型评估机构与已筹集数百亿美元资金的领先实验室之间的权力不平衡，引发了利益冲突方面的担忧。Venkatasubramanian 表示：“如果你想要真正的第三方评估，就需要在财务上及其他方面都真正独立。这不仅仅是有没有获得报酬的问题，而是，如果我是审计师，并发布了一份对这家公司不利的报告，会不会产生后果？我的生意会不会因此枯竭？”

Anthropic 上个月在一篇博客文章中承认了其中的复杂性，并表示“鉴于这项工作的重要性和紧迫性”，公司将直接为 Accenture 的贡献提供资金。该公司补充道：“从长远来看，我们认为资金应来自共同资金池或政府来源。”

OpenAI 因评估机构沟通问题解雇三名员工

一位发言人表示，OpenAI 上周因“三名员工违反了我们关于访问和处理公司敏感信息的政策”而将其解雇。其中两名员工 Mikita Balesni 和 Tomek Korbak 表示，他们认为自己被解雇是因为与第三方评估机构沟通的方式。

Balesni 周四在 X 上发文写道：“我的前同事告诉我，他们对于该相信什么感到困惑。他们也害怕发声，并担心自己的个人手机会被搜查是否有与我们以及第三方的消息。我担心，这种普遍存在的对发声和与第三方合作的恐惧，会意味着 OpenAI 将在幕后对安全问题偷工减料。”

OpenAI 否认了这一说法，并在周五的一篇帖子中表示，公司“正在积极敲定与第三方安全评估机构的合同，并将在未来几周公布详情”。OpenAI 发言人表示，公司即将开展的评估机构合作“建立在与独立安全组织现有合作的基础上”，其中包括 METR 和 Redwood Research。

AI 评估机构生态系统获得大规模资金增长

评估机构领域正在快速发展。政策非营利组织 Fathom 的首席执行官 Andrew Freedman 表示：“我一生在政治和政策领域工作了 20 年，从未见过一个议题在如此多不同的政治光谱上以如此快的速度发展。”

METR 于 8 月宣布，在过去六个月中已获得约 7100 万美元的资金承诺；根据其最近向美国国税局提交的文件，该金额高于其 2024 年总计 1360 万美元的捐款。独立评估机构 Vals AI 的首席执行官 Rayan Krishnan 表示，他的营利性初创公司今年从 8 名员工增长到约 30 名，并于 8 月宣布完成一轮 4000 万美元的融资。

到当月晚些时候，METR 的影响力进一步提升。OpenAI 聘请了 METR 的两名员工和一名承包商，撰写一份事后分析报告，详细说明该公司的模型如何逃脱控制、访问开放互联网并攻破开源开发者平台 Hugging Face。METR 表示，它没有因这项评估向 OpenAI 收取费用。

宾夕法尼亚大学沃顿负责任 AI 实验室教职主任 Kevin Werbach 表示，目前这个生态系统“还不够健全”。根据其网站信息，METR 雇用的全职员工少于 50 人。

各州推进独立验证组织框架

去年 6 月，Fathom 为独立验证组织 (IVOs) 引入了一个市场框架。这些组织将由政府许可，并获授权测试 AI 公司是否符合各种安全标准。Freedman 表示，政府监督至关重要，否则第三方评估机构可能会为了收入而受制于大型 AI 实验室。

IVOs 是《FRONTIER Act》的关键条款之一，该法案由众议员 Lori Trahan（马萨诸塞州民主党）和 Jay Obernolte（加利福尼亚州共和党）于 7 月提出。OpenAI 全球事务负责人 Chris Lehane 于 9 月告诉记者，他在国会山与该法案的一位发起人会面，以表达对 IVO 条款的支持。

加利福尼亚州、康涅狄格州和弗吉尼亚州的立法者已采取措施实施 IVO，马萨诸塞州等州也在更广泛地考虑独立安全评估。加利福尼亚州州长 Gavin Newsom 最近签署了两项涉及 IVO 的法案，其中一项建立“全美首创的框架”，另一项则为 AI 审计师建立州级登记册。Anthropic 于 8 月表示支持这两项法案，OpenAI 则在上个月正式表态支持，时间正值 Newsom 签署法案使其成为法律的当天。

Lehane 当时在一篇博客文章中写道：“我们更倾向于在联邦层面要求进行独立技术评估”，但在联邦尚未采取行动的情况下，“加利福尼亚州可以帮助建立规则。”

科技领袖签署特朗普的自愿 AI 安全协议

总统特朗普上月底在白宫的一场午餐会上接待科技领袖，并提出了一项他称为“具有道德约束力”的协议。这份一页纸的协议称，“每家公司都有责任以安全的方式开发自己的技术，并以一种与客户和公众建立信任的方式开展开发。”协议还鼓励签署方与“独立的外部审计师或评估机构合作，开展独立评估”。

Anthropic、谷歌、Meta、OpenAI、SpaceX 和英伟达的高管签署了这份文件。对于一群在如何应对 AI 风险方面观点相互冲突的领导者而言，这种团结姿态十分罕见。这些高管仍需自行规划未来的发展道路。

Venkatasubramanian 表示：“这是一场试图展示行动的表演，但实际上什么行动都没有发生。他们承诺要做的事情，本来就应该早已开展，而且事实上，他们过去还声称自己已经在做这些事情。”

Amodei 在 9 月发表的文章中表示，Anthropic 将为评估机构配备办公桌、门禁卡、公司笔记本电脑以及权限，这些权限“基本上与”内部风险评估团队的权限相当。此外，评估机构将获得合同支持，合同赋予它们“发布关键发现的权利”，同时 Anthropic 保留“有限的能力”，可以删减某些涉及安全敏感或机密的信息。

OpenAI 几天后发布了自己的提案，称评估机构应围绕“范围明确且双方同意的评估主张”开展工作，清晰解释其方法和标准，展示相关技术专长，并披露利益冲突。

AI Evaluator Forum 上个月发布了一封公开信，标题为“嵌入式评估机构的最低条件”。公开信称，评估机构应保持透明，受到免遭报复的保护，并获准享有与 AI 公司“自身拥有高度特权的员工”等同的访问权限。公开信还补充道：“嵌入式评估无法满足所有监督需求，应被视为前沿 AI 公司扩大外部监督工作的一种补充，而非替代。”

常见问题

Anthropic 首席执行官 Dario Amodei 上个月就 AI 安全作出了什么承诺？

上个月，Anthropic 首席执行官 Dario Amodei 承诺将独立评估机构嵌入公司内部。这一举措很快得到 OpenAI 首席执行官萨姆·阿尔特曼和总统特朗普的支持。Amodei 表示，Anthropic 将为评估机构配备办公桌、门禁卡、公司笔记本电脑以及权限，这些权限“基本上与”内部风险评估团队的权限相当，并提供赋予它们“发布关键发现的权利”的合同。

OpenAI 为什么在上周解雇三名员工？

一位发言人表示，OpenAI 上周因“三名员工违反了我们关于访问和处理公司敏感信息的政策”而将其解雇。其中两名员工 Mikita Balesni 和 Tomek Korbak 表示，他们认为自己被解雇是因为与第三方评估机构沟通的方式。OpenAI 否认了这一说法，并表示公司“正在积极敲定与第三方安全评估机构的合同”。

METR 为 AI 评估工作筹集了多少资金？

METR 于 8 月宣布，在过去六个月中已获得约 7100 万美元的资金承诺。根据该组织最近向美国国税局提交的文件，这相比其 2024 年总计 1360 万美元的捐款实现了大幅增长。METR 是一家非营利组织，根据其网站信息，该组织雇用的全职员工少于 50 人。