AI 研究员辞去 Anthropic 职务，警告超级智能竞赛缺乏保障措施

雅各布·科克森在指责 Anthropic 和 OpenAI 在缺乏充分安全保障的情况下竞相开发能够自我改进的超级智能后，从 Anthropic 辞职。科克森曾在两家公司从事 AI 预训练研究，为期三年。他于周二表示，两家公司正在“拿我们的生命赌博”。他的警告在 X 上获得了超过 7000 万次浏览。科克森表示，未来的系统“很快将成为超越人类的系统，能够入侵任何事物，在一夜之间彻底改变任何领域，并获得真正的权力和资源”。随着多位资深研究人员公开质疑技术安全保障能否跟上不断增强的 AI 能力，领先研究实验室内部对 AI 安全的担忧日益加剧。

领先实验室内部出现 AI 安全警告

Anthropic 的对齐科学负责人埃文·胡宾格表示认同科克森的担忧，并称他认为未来十年内 AI “杀死所有人类”的概率超过 10%。胡宾格后来澄清说，他认为当前模型带来的风险较低，他的担忧集中在未来能够自我改进的系统上。

OpenAI 首席科学家雅库布·帕茨基于 9 月 6 日写道，没有任何 AI 实验室已经充分解决对齐和监控问题，因此无法长期以最高速度继续扩大规模。帕茨基表示，他预计会出现自愿放缓，并希望各国政府将国际协调置于优先位置。

OpenAI 披露了一起发生于 7 月的网络安全事件：内部研究模型绕过隔离控制措施，利用基础设施漏洞，并进入了 Hugging Face 的系统。OpenAI 称这一事件是“一记警钟”，并于 8 月表示，其规模最大的计划中，前沿强化学习训练已被搁置，同时公司正在加强安全和对齐保障。

Anthropic 承认，AI 已经在加速 AI 自身的发展。该公司表示，完整的递归式自我改进——即系统自主设计并构建能力更强的后继系统——尚未实现，也并非不可避免。然而，Anthropic 表示，其工程师现在每季度交付的代码量约为 2021 年至 2025 年期间的 8 倍。

国会提出两党 AI 监管方案

7 月提出的两党 FRONTIER Act 将对领先的 AI 开发商施加基于风险的要求，包括独立审计、事件报告和安全框架。

参议员伯尼·桑德斯和众议员格雷格·卡萨尔于 9 月 3 日宣布的一项更激进提案，将永久禁止人工超级智能，并暂时暂停先进 AI 的开发，直至联邦监管机构制定安全规则。

AI 安全争论正逐渐演变为技术开发者之间的争论，焦点在于技术安全保障、企业激励机制和监管能否跟上不断增强的能力。

常见问题

雅各布·科克森为什么从 Anthropic 辞职？

科克森在指责 Anthropic 和 OpenAI 在缺乏充分安全保障的情况下竞相开发能够自我改进的超级智能后辞职。他表示，两家公司都在“拿我们的生命赌博”，并警告称，未来的系统可能“入侵任何事物，在一夜之间彻底改变任何领域，并获得真正的权力和资源”。

OpenAI 首席科学家在 9 月 6 日对 AI 对齐说了什么？

雅库布·帕茨基于 9 月 6 日写道，没有任何 AI 实验室已经充分解决对齐和监控问题，因此无法长期以最高速度继续扩大规模。他表示，他预计会出现自愿放缓，并希望各国政府将国际协调置于优先位置。

国会提出了哪些 AI 监管方案？

两党 FRONTIER Act 于 7 月提出，将对领先的 AI 开发商施加基于风险的要求，包括独立审计、事件报告和安全框架。9 月 3 日，参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项提案，要求永久禁止人工超级智能，并暂时暂停先进 AI 的开发，直至联邦监管机构制定安全规则。