AI研究人员警告称，递归式自我改进正在以快于预期的速度发生

Anthropic 和 OpenAI 的研究人员本周发出警告，称 AI 系统递归自我改进的速度正在加快，其中一些人表达了对人类生存风险的担忧。Anthropic 的对齐负责人 Evan Hubinger 在 X 上表示，他认为未来十年内 AI 杀死全人类的概率超过 10%，此前一名同事因安全担忧辞职。这些警告聚焦于递归自我改进——即 AI 系统帮助改进构建新模型的过程——两家公司都表示，这一过程发生得比预期更快，引发了人类能否继续控制日益自主的 AI 开发的问题。

研究人员警告 AI 自我改进风险

Hubinger 在回复自己的帖子时澄清说，他具体担忧的是“递归自我改进带来的超级智能。正如我们所说，这一过程发生得比我们想象的更快”。递归自我改进是指 AI 本身帮助改进和构建新模型的过程，可能会导致能力螺旋式增长，因为更优秀的系统会构建出更优秀的系统。

在 Jacob Coxon 辞职后，两家实验室的多名研究人员在社交媒体上发布了警告。OpenAI 负责对齐工作的研究人员 Jasmine Wang 周三晚间表示，“很难夸大朝着递归自我改进加速前进有多么危险”。Anthropic 负责 AGI 安全和对齐工作的 Anna Wang 表示，“目前还没有可行的科学计划来解决递归自我改进 AI 带来的风险”。

周六，OpenAI 首席科学家 Jakub Pachocki 在公司博客文章中表达了担忧，称“没有人准备好应对机器智能持续快速增长的后果”。他写道，“如果 AI 开发继续沿着当前路径发展，我们在未来几年看到的系统很可能会实现幅度相当或更大的进一步能力跃升，并越来越多地推动自身发展”。

Anthropic 和 OpenAI 报告称 AI 开发加速速度超出预期

两家公司近几个月都表示，模型自主改进的发生速度比它们预想的更快。Anthropic 6 月在 X 上发文称，“我们的内部数据显示，Claude 正在加速 AI 开发——这可能是通往递归自我改进的路径，即 AI 自主构建能力更强的继任者。这一过程发生得比我们想象的更快，其影响值得更多关注”。

Anthropic 在 8 月一篇关于递归自我改进的博客文章中表示，其工程师平均每季度交付的代码量是 2021—2025 年期间的 8 倍。卡内基梅隆大学计算机科学教授 Vincent Conitzer 告诉 CNBC，“AI 已经达到能够提出一些新想法的水平。因此，很难预测这一过程会在什么时候开始大幅加速 AI 能力”。

Anthropic 概述 AI 开发的三种未来可能情景

Anthropic 在递归自我改进博客文章的结尾列出了未来的三种可能情景。在其中一种情景中，前沿领域的进展停滞，AI 能力得到广泛传播，不过 Anthropic 表示，它认为这种情况不太可能发生。

第二种可能性是 Anthropic 称之为“可能发生”的情景，即 AI 实验室在由人类控制的情况下继续取得进展，改变世界的运作方式。第三种情景可能是 AI 系统具备完全递归自我改进的能力，而人类在其发展过程中扮演“显著削弱的角色”。

Anthropic 表示，在这一未来中，“对齐问题[确保 AI 追求与人类一致目标的挑战]如何得到解决——或无法解决——是我们最不确定的事情”。

科技行业新闻摘要

TSMC 8 月营收在巨大 AI 芯片需求的推动下激增超过 53%，创下历史新高。Google 表示将向芬兰的 AI 基础设施投资至少 150 亿美元，成为这家科技巨头在欧洲最大的一笔单笔投资。

Mistral 的估值达到 240 亿美元，Samsung 领投了这家法国初创公司的 35 亿美元融资轮。Qualcomm 向亚马逊发行认股权证，使其能够收购价值 40 亿美元的这家芯片制造商的股票，作为一项 AI 基础设施交易的一部分。Anthropic 表示，中国 AI 实验室秘密使用了数百万次 Claude 交流来训练其模型。

常见问题

AI 系统中的递归自我改进是什么？
递归自我改进是指 AI 本身帮助改进和构建新模型的过程，可能会导致能力螺旋式增长，因为更优秀的系统会构建出更优秀的系统。Anthropic 和 OpenAI 都表示，这一过程发生得比它们预期的更快，Anthropic 报告称，其工程师如今每季度交付的代码量是 2021—2025 年期间的 8 倍。

Anthropic 和 OpenAI 的研究人员本周表达了哪些担忧？
Anthropic 的对齐负责人 Evan Hubinger 表示，未来十年内 AI 杀死全人类的概率超过 10%。包括 OpenAI 的 Jasmine Wang 和 Anthropic 的 Anna Wang 在内的多名研究人员警告称，目前还没有可行的科学计划来解决递归自我改进 AI 带来的风险。OpenAI 首席科学家 Jakub Pachocki 周六表示，没有人准备好应对机器智能持续快速增长的后果。

Anthropic 描述了 AI 开发的哪些未来情景？
Anthropic 在博客文章中列出了三种可能情景：前沿领域的进展停滞，AI 能力得到广泛传播（Anthropic 认为这种情况不太可能发生）；AI 实验室在由人类控制的情况下继续取得进展，同时改变世界的运作方式（Anthropic 称这种情况“可能发生”）；或者 AI 系统具备完全递归自我改进的能力，而人类在其发展过程中扮演显著削弱的角色。