AI 专家要求对 Anthropic 和 OpenAI 进行独立安全评估

100 多名人工智能专家和评估人员周五发表公开信，呼吁对 Anthropic 和 OpenAI 等公司开发的人工智能技术进行独立安全评估。这封由 Conrad Stosz 领导的 AI Evaluator Forum 联盟发起的公开信，要求基础模型提供商确保第三方人工智能评估人员获得有效测试人工智能安全所需的“科学客观性、透明度、独立性和强有力的保护”。该倡议回应了人们对前沿人工智能模型日益加强的审查。此前，业内人士已对其潜在危险表达担忧；与此同时，基础模型公司近期也承诺支持更全面的第三方人工智能安全测试。

AI Evaluator Forum 概述独立测试的五项最低条件

这封由 Geoffrey Hinton、约翰斯·霍普金斯大学、斯坦福大学以及非营利评估机构 METR 的成员等人工智能领域知名人士签署的公开信，为嵌入式评估人员确立了五项最低条件。前沿人工智能公司必须依靠真正独立的评估人员，并确保他们拥有完整的编辑控制权，同时披露潜在利益冲突。公开信指出，嵌入式评估机构不应由前沿人工智能公司所有或管理，不应与这些公司开展重大商业业务，也不应接受取决于评估结果的付款。公司必须在重点风险领域引入多个拥有深厚技术专长的评估机构，以纳入不同观点。嵌入式评估人员必须对评估方法、结果、访问权限的性质和评估条款保持透明，公司则应限制保密协议的范围。评估人员必须受到保护，不会因选择合理的评估方法或得出不利结论而遭到报复，包括免受报复性诉讼。公司必须给予嵌入式评估人员与高级别特权员工同等的访问权限，包括访问相关系统、数据、工具和实体空间，以及与员工进行坦诚沟通的权限。

行业领导者支持 Amodei 关于评估人员访问权限的提案

Anthropic 首席执行官 Dario Amodei 周末提议，为部分评估人员提供类似员工的访问权限，以检查和审计尖端基础模型及其开发流程。OpenAI 首席执行官萨姆·阿尔特曼、SpaceX 的马斯克以及微软首席执行官 Satya Nadella 公开支持 Amodei 的提案。Conrad Stosz 表示，Amodei 的提案似乎涉及提供远超评估人员以往所享有的访问权限，可能包括访问公司电脑、与员工进行坦诚交流，以及查看敏感的内部数据和未发布的系统。Stosz 表示，这种访问权限将使人们更有信心了解实际风险，尤其是公司内部使用但尚未发布的系统所带来的风险；他以 Hugging Face 遭攻击事件中使用的未发布 OpenAI 模型为例。行业领导者尚未解决相关后勤问题，包括将选定哪些人工智能评估人员，以及对受到严密保护的技术进行多深入的检查。

对外关系委员会研究员强调国家安全担忧

签署这封公开信的 Vinh Nguyen 是对外关系委员会人工智能事务高级研究员，也是美国国家安全局前首席人工智能官。他表示，需要独立评估人员来帮助挖掘关键信息，从而有助于缓解潜在的安全失误和经济灾难。Nguyen 在一份声明中表示，当少数几家强大实验室掌控着可能危及网络安全、关键基础设施以及国家安全和经济所依赖系统的能力时，政府和公众不能依赖这些实验室自行说明哪些系统安全可靠。Conrad Stosz 承认，基础模型公司可能会忽视这封公开信和行动呼吁，但表示它们的信誉正面临考验。Stosz 表示，具备足够技术可信度以及相应规模和能力来开展这类工作的团体非常少。

常见问题

人工智能专家周五要求 Anthropic 和 OpenAI 做什么？

100 多名人工智能专家和评估人员周五发表公开信，要求 Anthropic 和 OpenAI 等基础模型提供商确保第三方人工智能评估人员获得有效测试人工智能安全所需的“科学客观性、透明度、独立性和强有力的保护”。这封由 AI Evaluator Forum 联盟发起的公开信概述了嵌入式评估人员的五项最低条件，包括真正的独立性、纳入不同观点、透明度要求、免受报复的保护，以及与高级别特权员工同等的访问权限。

专家认为，为什么需要独立的人工智能安全评估人员？

对外关系委员会人工智能事务高级研究员、美国国家安全局前首席人工智能官 Vinh Nguyen 表示，需要独立评估人员来帮助挖掘关键信息，从而有助于缓解潜在的安全失误和经济灾难。Nguyen 解释说，当少数几家强大实验室掌控着可能危及网络安全、关键基础设施以及国家安全和经济所依赖系统的能力时，政府和公众不能依赖这些实验室自行说明哪些系统安全可靠。