PrismML 发布面向 PC 和智能手机的 Bonsai 2 压缩型 AI 模型，参数量达 270 亿蕴含.

PrismML 于周四发布了 Bonsai 2 270亿，这是一款压缩型大型语言模型，大小仅为 5.9 GB，足以安装在 PC 和智能手机上。这家 AI 实验室开发这款推理模型，是为了证明高性能 LLM 不需要庞大的体积；该模型将阿里巴巴的 Qwen3.8 270亿压缩至原模型约 1/9 至 1/10 的内存占用，同时保留了 98% 的基准测试性能。这家由加州理工学院研究人员创立的初创公司，旨在实现无需依赖云端、可在本地运行的设备端 AI。此次发布正值业界日益关注模型压缩技术之际。PrismML 的首款 Bonsai 模型自 3 月发布以来已被下载超过 1100 万次。

Bonsai 2 270亿以 5.9 GB 达到 98% 的基准测试性能

Bonsai 2 270亿将阿里巴巴广泛使用的开源模型 Qwen3.8 270亿压缩至 5.9 GB。该模型的综合基准测试得分达到 Qwen 原模型的 98%，高于 3 月发布的首款 Bonsai 模型；后者的成绩为 95%。原始模型已被下载超过 1100 万次，而 PrismML 的较小模型还被下载了另外 260 万次。

5.9 GB 的体积使该模型足够小，可以安装在 PC 上，也可能安装在高端智能手机上。与原始模型相比，这意味着内存占用减少了约 9 倍至 10 倍，即仅为原来的约 1/9 至 1/10。

加州理工学院研究人员创立 PrismML，并获得 2225 万美元种子轮融资

PrismML 由一群加州理工学院研究人员创立，由加州理工学院教授、压缩技术专家 Babak Hassibi 领导。这家初创公司完成了 2225 万美元的种子轮融资。Ion Stoica 担任顾问。Stoica 是 Databricks 的联合创始人，也是伯克利 Sky Computing Lab 的主任。

PrismML 获得了 Khosla Ventures、Cerberus Capital 和加州理工学院的投资支持。由西班牙 Donostia International Physics Center 一名教授创立的 Multiverse Computing，则是另一家从事 LLM 压缩技术的公司。

三值权重压缩将模型体积缩小 9 倍至 10 倍

PrismML 通过缩小构成模型的“权重”来实现压缩。权重是模型在训练过程中学习并存储的信息。通常，每个权重需要 16 位。PrismML 采用名为“三值权重”的方法，将每个权重简化为三个值：+1、−1 或 0。由于表示每个权重所需的信息量大幅减少，模型占用的空间也随之显著缩小。

Hashsibi 表示，PrismML 的压缩技术之所以独特，是因为模型在压缩后几乎没有损失性能。他表示，压缩可能始终会带来一定影响。不过，2% 的性能下降可能不会对模型在实际使用中的表现产生实质性影响。

PrismML 计划在未来几个月推出数千亿参数模型

这家初创公司的下一个目标，是将这种压缩技术应用于更大的模型。“我们接下来发布的模型，希望在未来几个月内推出，将达到数千亿参数的规模，我预计届时会更容易保留模型的智能水平，”Hassibi 告诉 TechCrunch。

他补充道，随着模型规模扩大，“就有更多空间在不损失智能水平的情况下对其进行压缩。所以我只能说，从总体趋势来看，对于更大的模型，更容易达到 100%。”

Stoica 告诉 TechCrunch，他对这项技术感到兴奋，因为它让先进模型能够在用户的设备上运行。“你将把智能掌握在指尖，而且它将是免费的，因为它会在你已经购买的设备上运行。它还将是私密的，因为你不必将其发送到云端。”

常见问题

PrismML 于周四发布了什么？
PrismML 于周四发布了 Bonsai 2 270亿，这是一款压缩型大型语言模型，大小为 5.9 GB，足以安装在 PC 和智能手机上。该模型将阿里巴巴的 Qwen3.8 270亿压缩至原模型约 1/9 至 1/10 的内存占用，同时保留了 98% 的基准测试性能。

PrismML 的压缩技术如何运作？
PrismML 使用“三值权重”，将每个权重值简化为三个选项：+1、−1 或 0。通常，每个权重需要 16 位，但这种方法大幅减少了存储模型信息所需的空间。

PrismML 对未来模型发布有何计划？
PrismML 计划在未来几个月内发布数千亿参数规模的模型。CEO Babak Hassibi 表示，更大的模型有更多空间在不损失智能水平的情况下进行压缩，因此更容易实现 100% 的基准测试水平。