家庭实验室搭建者仅用 CPU 在 Optane 内存上运行 2.8 万亿参数 AI 模型

一位 Reddit 家用实验室爱好者使用已停产的第二代英特尔 Optane PMem 200 内存，搭配 40 核第三代 Xeon Scalable CPU，在没有 GPU 的情况下运行了 Moonshot AI 的 2.8 万亿参数 Kimi K3 AI 模型，并进行推理。这位爱好者选择 Optane，是因为它的价格只是同等 DRAM 的“一小部分”，而 DRAM 价格已经大幅飙升。这个项目承接了另一位用户此前的搭建成果：对方使用第一代 Optane 运行了一个 1 万亿参数模型；该项目还凸显了关键的散热管理挑战——如果冷却不当，可能会损坏邻近的内存组件。

Reddit 用户实现纯 CPU 推理，每秒生成 0.85 个词元

这个家用实验室项目分享在 Reddit 的 r/homelab 社区，使用 1 位量化时达到每秒 0.85 个词元，使用 3 位量化时达到每秒 0.75 个词元。相比之下，此前的一次搭建使用第一代 Optane 的 Memory Mode，并由 RTX 3060 处理较小的 1 万亿参数 K2.5 模型中的一部分，速度约为每秒 4 个词元。一位评论者估计，以每秒约 1 个词元的速度处理一个 50,000 词元的任务，大约需要 13 小时；不过另一位评论者指出，夜间批处理并不以速度为优先。

这位爱好者使用了 App Direct Mode，这种模式会将 Optane 作为独立的持久化区域，让软件直接映射使用。据首个搭建项目的创作者 u/APFrisco 所说，这种方式可以“更好地控制模型张量存放的位置”。另一种选择是 Memory Mode，此时 Optane 充当系统内存，DRAM 则作为其缓存。

Optane PMem 200 会产生极高热量，需要主动冷却 DRAM

这位爱好者发出了重要的散热警告，称 Optane DIMM 在持续推理时会变得“极其烫”，可能危及邻近的 DRAM。其建议是“必须对 DIMM 进行主动冷却”，使用两台 12W 鼓风风扇对准内存模块，以控制温度。英特尔给出的 Optane PMem 200 单条功耗为 12W 或 15W，与容量无关；这意味着四条内存会产生最高 60W 的热量，而它们就安装在系统内存旁边。

英特尔规定，这些模块需要 2.4 至 2.7 米/秒的强制气流进行冷却，这种条件通常出现在数据中心，而非家用系统中。温度达到 83 摄氏度时会发生降频，达到 85 摄氏度时则会因热保护而关机。相比之下，典型的 DDR4 服务器内存额定温度为 85 摄氏度，扩展范围运行时最高可达 95 摄氏度。

第二代 Optane 的带宽比第一代高 32%

英特尔于 2020 年推出 Optane Persistent Memory 200 Series（PMem 200），面向第三代 Xeon Scalable CPU，提供 128GB、256GB 和 512GB 容量。在双路 Xeon 平台上，它的有效 MT/s 速率高于第一代 PMem 100，平均内存带宽最高可提升 32%。

Moonshot AI 建议使用数据中心推理引擎运行 Kimi K3，即使是社区中最小的量化版本，也至少需要 610GB RAM。使用二手 Optane 是在家中达到这一容量的少数可行方式之一，因为这位爱好者指出，DRAM 价格已经大幅上涨。

用户计划整合 GPU 并优化 DRAM 层级

这位爱好者表示，给出的性能数据是在调优前测得的，也就是说尚未调整线程数或 NUMA 亲和性，因此还有提升空间。其计划是增加 GPU，并将模型的部分内容加载到 DRAM 中，作为比 Optane 更快的层级。一位评论者询问，是否可以使用 Memory Mode，让 DRAM 缓存最常用的专家模块。这位爱好者表示，“后续还会有更多基准测试。”

常见问题

Reddit 用户使用什么硬件运行这个 2.8 万亿参数 AI 模型？

这位爱好者使用第二代英特尔 Optane PMem 200 内存和 40 核第三代 Xeon Scalable CPU，仅用 CPU 运行模型，没有使用任何 GPU 进行推理。

为什么在这一配置中，Optane 内存需要主动冷却？

Optane PMem 200 模块每条会产生 12W 至 15W 的热量，总热量最高可达 60W；如果气流不足，可能会损坏邻近的 DRAM。这位爱好者警告说，Optane 可能会“烧坏”附近的内存，并使用两台 12W 鼓风风扇来避免热损坏。

第二代 Optane 的 AI 推理性能与第一代相比如何？

第二代 Optane PMem 200 的内存带宽最高比第一代 PMem 100 高 32%；不过，当前这套配置的速度为每秒 0.85 个词元，而此前使用第一代 Optane 的搭建速度约为每秒 4 个词元，后者还使用了 RTX 3060 GPU，且运行的是更小的模型。