英伟达下一代 Groq LPU 据传将改用 TSV 3D 堆叠 DRAM，放弃大容量 SRAM 方案

据 IT 之家于 10 月 21 日引述韩媒 ZDNET Korea 报道，英伟达（NVIDIA）下一代 Groq LPU AI 推理加速器芯片有望采用基于 TSV（硅通孔）工艺的 3D 堆叠 DRAM 方案，取代目前以大容量 SRAM 为核心的缓存设计。SRAM 方案的问题在于容量较小，且随着制程推进，密度提升的收益有限。

下一代 Groq LPU 将改用 TSV 3D 堆叠 DRAM

据 ZDNET Korea 报道，当前一代 Groq LPU 采用大容量片上 SRAM 缓存设计，优势是可提供极高的内存带宽（TB/s 级）和确定性的微秒级推理延迟；但 SRAM 的容量上限使其只能运行相对较小的模型（如 Llama-3 70B），无法支持 GPT-4 规模的推理工作负载。TSV 3D 堆叠 DRAM 通过垂直堆叠多层 DRAM 芯片，相较于传统 SRAM，可在相同面积内提供更大的容量；如果转型成功，有望突破当前 Groq LPU 的模型规模限制。

IT 之家注意到，同样采用大容量 SRAM 路线的 Cerebras 也已预告，其 CS-6 将采用 3D 垂直集成 DRAM，显示这一技术路线的转型在推理芯片行业已呈现出一定趋势。

Groq、Cerebras、Tenstorrent 的三种架构策略：分别针对不同推理瓶颈

根据公开资料，三家推理芯片公司的核心架构方向如下：

Groq LPU：确定性处理器，无缓存、无分支预测、无推测执行；所有模型权重均存储在片上 SRAM 中，带宽达到 TB/s 级；可提供可预测的微秒级延迟，适合对延迟高度敏感的应用（聊天机器人、代码助手、实时翻译）；但受 SRAM 容量限制，无法运行 GPT-4 规模的模型。

Cerebras CS-3：晶圆级单芯片，所有核心共享同一一致性内存结构；对于 700 亿参数模型，全部核心都可访问所有权重，无需跨越芯片边界，从而消除类似 NVLink 的芯片间通信开销。

Tenstorrent（Wormhole/Blackhole）：由 Jim Keller 领导，采用由简单处理器构成的网格架构，并配合 Metalium 数据流编译器；同时面向数据中心（75 瓦）和边缘端（10～15 瓦）部署，目标市场包括汽车 OEM、工业自动化和消费电子。

市场细分：训练仍由英伟达主导，延迟敏感型推理由 Groq/Cerebras 负责

根据行业分析，AI 硬件市场已形成清晰的细分格局。训练领域仍是英伟达绝对主导的市场，CUDA 生态系统、成熟框架以及工程师对其的熟悉程度构成了真正的护城河，推理芯片初创公司既无意也无法在这一领域展开竞争。对于延迟高度敏感的数据中心推理场景（如聊天机器人和语音界面，这类应用对首个令牌的响应时间有严格要求），Groq 和 Cerebras 是主要竞争者；对于以吞吐量为优化目标的批处理工作负载（如批量文件摘要），GPU 仍具备竞争力。

Tenstorrent 则聚焦于边缘推理，相信 AI 推理将逐步向设备、车辆和工业系统端迁移；按设备数量计算，这一市场远大于数据中心推理市场。

值得注意的是，推理领域受到 CUDA 锁定的程度相对较弱——推理只需要前向传播图，可通过 ONNX、Apache TVM 等编译路径移植到非 CUDA 硬件上。Groq 的编译器即可直接接受 ONNX/SafeTensors 格式，无需任何 CUDA 代码。

2028 年市场预测：细分格局，而非赢家通吃

根据行业分析，对 2028 年 AI 硬件市场格局较有把握的预测是，市场将进一步细分，而非由单一厂商主导：英伟达将继续主导训练和大规模推理基础设施；Groq 将在延迟敏感型推理市场占据一定份额；Cerebras 将服务于重视内存一致性的大型模型推理客户；Tenstorrent 则将在边缘推理领域取得进展，并有望进入汽车产业。

这一格局反映了半导体市场长期以来的演进规律：从通用 CPU 到图形、网络、加密等各类专用芯片，AI 硬件也正在沿着相同路径发展，而推理领域的初创公司正是当前周期中的专用芯片厂商。

常见问题

英伟达 Groq LPU 下一代为何要从 SRAM 转向 3D 堆叠 DRAM？

据 ZDNET Korea 报道，现有 SRAM 方案的主要限制是容量相对较小，且随着制程推进，密度提升的收益有限；3D 堆叠 DRAM（采用 TSV 工艺）可在相同面积内提供更大的容量，有助于突破 Groq LPU 目前只能运行中小型模型的瓶颈。

Groq LPU 的核心架构优势是什么？

根据公开资料，Groq LPU 是确定性处理器，无缓存、无推测执行，每个操作都在固定数量的周期内完成；所有模型权重均存储在片上 SRAM 中，可提供 TB/s 级带宽和微秒级推理延迟，适合需要可预测响应时间的延迟高度敏感型应用。

Groq、Cerebras、Tenstorrent 的市场定位有何不同？

根据行业分析，Groq 和 Cerebras 主要竞争延迟高度敏感的数据中心推理市场；Tenstorrent 则同时面向数据中心和边缘端（汽车、工业、消费电子），以低功耗设计支持边缘 AI 推理场景。

推理领域为何比训练领域受到的 CUDA 锁定更弱？

根据技术分析，训练需要针对分布式多节点系统进行深度的 GPU 特定优化（如环形全归约），因此极难移植；推理只需要模型权重和前向传播图，可通过 ONNX、TVM 等标准路径编译到非 CUDA 硬件上。Groq 的编译器可直接接受 ONNX/SafeTensors，无需 CUDA 代码便可运行，就是一个例子。