GPT-6 Astra 在 OpenAI BioBasicsBench 上得分 66.7%

OpenAI 于 11 月 6 日发布 BioBasicsBench，用于评估 AI Agent 对 100 项常规湿实验室任务原始数据的处理能力。该基准测试模型能否解读实验数据、识别有缺陷的对照，并判断结果是否存在过多歧义、无法支持结论。OpenAI 与酶设计初创公司 Ligo Biosciences 共同开发了这项评测，以衡量 AI 在日常实验室工作中面对不确定证据时的表现。

OpenAI 构建 BioBasicsBench，评估湿实验室数据推理能力

BioBasicsBench 使用来自 100 项常规实验室任务的原始实验数据。该基准要求模型解读结果、发现实验错误，并识别证据不足以得出结论的情况。OpenAI 写道，日常湿实验室工作中会遇到实验失败、含义模糊的图像和观察结果相互矛盾的情况，而为发表而挑选的图表和图像可能掩盖了其中大部分不确定性。

科学家将自己实验中的数据转化为 100 道测试题，每道题都配有详细的评分标准。每道题都经过三轮审核：一名 Ligo 科学家的审核、一名外部湿实验室的博士级科学家的审核，以及最后一次内部审核。模型根据测量准确度、推理合理性和对不确定性的识别能力获得分数。公布的分数代表各项任务中所获可用分数的平均百分比。

一道克隆示例涉及一块琼脂糖凝胶，它按大小分离 DNA 片段，形成可见条带。OpenAI 得分最高的模型正确区分了条带模式，却颠倒了对照所支持的解释，并建议选择仍携带原始质粒的菌落。质粒是一种用于将遗传物质送入细胞的小型环状 DNA 分子。

GPT-6 Astra 在 OpenAI 的 BioBasicsBench 测试中领先

OpenAI 测试了旗下两个世代的七款模型：GPT-5 系列中的 GPT-5.2、GPT-5.4、GPT-5.5 和 GPT-5.6 Sol，以及 GPT-6.1 Sol、GPT-6 Luna 和 GPT-6 Astra。GPT-5.6 引入了 Sol、Terra 和 Luna 这几个层级名称。GPT-6 增添了 Astra，作为最高层级于 9 月初发布。

每款模型都在多个推理强度设置下运行，这些设置控制模型在回答前对问题进行推演的程度。OpenAI 运行了 37 种模型与设置组合，每项任务尝试五次，共生成 18,500 条评分答案。这篇文章只比较了 OpenAI 的模型。

在七款模型都运行的最高设置“xhigh”下，GPT-6 Astra 获得了 66.7% 的可用分数，输出 token 数约为 GPT-5.6 Sol 的一半。GPT-6.1 Sol 得分为 62.0%，GPT-5.6 Sol 得分为 43.8%，GPT-6 Luna 得分为 38.3%，GPT-5.5 得分为 35.4%，GPT-5.4 得分为 33.2%，GPT-5.2 得分为 31.2%。OpenAI 表示，更强的原生多模态能力“可能是”取得进步的关键。

GPT-6 Astra 识别出无效的克隆对照

在一项克隆任务中，GPT-5.6 Sol 根据一块空白阴性对照平板得出结论。对照用于检验是否有预期流程以外的因素也能产生结果。GPT-6 Astra 读出了平板边缘手写的“LB Kan50”标签，识别出平板含有卡那霉素，而实验使用的是氨苄青霉素，因此判定该平板不能作为有效对照。

在一项菌落 PCR 任务中，Astra 将菌落泳道正确分成两组，却认定较大的 PCR 产物意味着克隆成功。它选中了仍携带旧质粒的菌落，而非参考答案中的 5、9 和 10 号菌落；后者与第 2 泳道中新产物的条带相符。Astra 还将一块平板上的菌落数量高估了约 12%，导致对 DNA 进入细胞效率的估算也同比例偏高。

OpenAI 写道，基准测试得分更高并不意味着模型目前已能在实验室中做出可靠判断。Benchling 也开发了 AI 实验室推理测试，其中一项测试克隆实验规划，Astra 得分最高。Benchling 的 AI 负责人 Nicholas Larus-Stone 于 8 月告诉 R&D World，只要配备合适的工具框架并有人类参与，LLM 就能在湿实验室中发挥作用。

OpenAI 借助 GPT-6 Astra 拓展 AI 科学研究

这项基准测试体现了 OpenAI 对科学领域的更广泛关注。在 11 月 3 日的一次播客访谈中，首席执行官萨姆·阿尔特曼表示，公司近期的数学成果，包括其声称的 Navier–Stokes 证明，让他觉得 OpenAI 在实现科学发现机器方面比自己预想的更近了一步。

同一周，OpenAI 表示，Astra 设计了一款会说话的 Codex 桌面设备的外壳、电路板和固件。一个 MIT 团队也报告称，Astra 可以通过编辑其他 AI 模型的权重来提升其性能；批评者则表示，该方法依赖标准的机器学习工程技术。

BioBasicsBench 衡量 GPT 模型在 100 项任务中的表现

• BioBasicsBench 通过 100 项常规湿实验室任务的原始实验数据评估 AI Agent。
• OpenAI 与酶设计初创公司 Ligo Biosciences 共同开发了 BioBasicsBench。
• 基准测试题经过三轮审核：另一名 Ligo 科学家、一名外部湿实验室的博士级科学家，以及最后一次内部审核。
• OpenAI 测试了 GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna 和 GPT-6 Astra。
• OpenAI 运行了 37 种模型与设置组合，每项任务尝试五次，共生成 18,500 条评分答案。
• 在“xhigh”设置下，GPT-6 Astra 获得了 66.7% 的可用分数，输出 token 数约为 GPT-5.6 Sol 的一半。
• GPT-6 增添的最高层级 Astra 于 9 月初发布。
• 在一项菌落 PCR 任务中，Astra 将一块平板上的菌落数量高估了约 12%。

常见问题

什么是 OpenAI BioBasicsBench？

BioBasicsBench 是 OpenAI 与 Ligo Biosciences 共同开发的一项评测，用于测试 AI Agent 能否解读 100 项常规湿实验室任务的原始数据、识别实验错误，并判断证据是否存在过多歧义、无法支持结论。

哪款模型在 BioBasicsBench 中得分最高？

在七款模型都运行的最高设置“xhigh”下，GPT-6 Astra 获得了 66.7% 的可用分数。GPT-6.1 Sol 得分为 62.0%，GPT-5.6 Sol 得分为 43.8%。

GPT-6 Astra 在克隆任务中犯了什么错误？

Astra 正确地将菌落 PCR 泳道分成两组，却将较大的 PCR 产物解读为克隆成功，并选中了仍携带旧质粒的菌落。参考答案是 5、9 和 10 号菌落，它们与第 2 泳道中新产物的条带相符。