AI 推理时代存储分层格局洗牌：HBF、SSD POD、SRAM 崛起

根据 TrendForce 新发布的研究报告，AI 产业重心从训练转向推理，促使存储架构从以 HBM 为主角的单一格局，走向 HBF、SSD POD 与 SRAM 三种技术分工的新推理存储层级。SK 海力士等存储厂商股票的竞争格局正面临重组。

HBM 的训练时代角色：TSV 垂直堆叠技术与 2TB/s 频宽优势

根据 TrendForce 报告，HBM 的技术原理为将多层 DRAM 垂直堆叠，并通过硅通孔（TSV）技术连接，选择与运算芯片并排封装在同一片介质层上，大幅缩短数据传输路径。

相较于传统 DRAM 通过 PCIe 传输（PCIe 6.0 x16 单向频宽约 128GB/s），单一 HBM 堆叠可提供超过 2TB/s 的频宽；HBM4 单颗芯片有 2,048 根引脚，单一引脚单向频宽已超过 1GB/s；一颗 16 层堆叠的 HBM4 容量约 48GB。

KV 缓存的推理瓶颈：从频宽到容量的双重压力

根据 TrendForce 报告，AI 推理的 Decode（解码）阶段必须不断对 KV 缓存进行逐 token 的读写；KV 缓存的大小会随对话轮数、上下文长度与批次量持续膨胀，仅靠 HBM 的频宽优势已难以应对快速增长的推理需求。

存储的“容量”与“频宽”同时成为推理阶段的双重瓶颈，推动三种新兴存储技术在推理存储架构中找到各自定位。

HBF、SSD POD 与 SRAM 三种技术的规格与定位

根据 TrendForce 报告及相关业者资料，三种新兴存储技术的规格与定位如下：

HBF（High Bandwidth Flash）：SK 海力士与 SanDisk 共同开发，NAND 闪存垂直堆叠 + TSV；预期频宽达 1.6TB/s，单一堆叠容量约 512GB（约 HBM4 容量的十倍）；目前尚未量产，产业预期需求约在 2030 年左右浮现

SSD POD：由 NVIDIA 提出概念，用于填补本地 SSD 与共享存储的缺口；Dynamo 框架通过 NIXL 函数库将 KV 缓存卸载到 CPU RAM、本地 SSD 或远端网络存储；单颗 H100 可达 35GB/s 吞吐，8 颗 H100 系统最高达 270GB/s 读取吞吐

SRAM（芯片内建）：存取时间约 1 奈秒（vs DRAM 的 10-15 奈秒）；Groq LPU 单颗约 230MB；Cerebras 晶圆级设计单颗容纳约 44GB；Groq 的推理技术授权与核心团队已于 2025 年 12 月被 NVIDIA 收购

2026 年推理芯片生态新进展

根据各公司公告，NVIDIA 宣布将 Groq LPX 芯片纳入 Rubin 系列产品线（预计 2026 年下半年出货），并发布 CMX（Context Memory Storage Platform）与 Vera CPU Rack。Google 推出推理专用 TPU v8i，搭载 72GB HBM3e 及 384MB SRAM。

AI ASIC 新创方面：SambaNova 于 2026 年 2 月推出第五代芯片 SN50；Cerebras 于 2026 年 4 月申请 IPO，并宣布与 OpenAI、AWS 的合作案；Etched 于 2026 年 6 月宣布其 Sohu 芯片已于台积电顺利流片。

常见问题

HBF 与 HBM 的主要差异为何？

根据 TrendForce 报告，HBF（High Bandwidth Flash）采用 NAND 闪存垂直堆叠，预期频宽达 1.6TB/s，单一堆叠容量约 512GB（约 HBM4 的十倍）；HBM 采用 DRAM 垂直堆叠，提供超过 2TB/s 频宽，但单一 HBM4 容量仅约 48GB；HBF 目前尚未量产，预期需求约在 2030 年才会浮现。

AI 推理时代为何需要 HBF、SSD POD 和 SRAM？

根据 TrendForce 报告，推理的 Decode 阶段 KV 缓存会随对话轮数与上下文长度持续膨胀，HBM 的频宽优势难以应对快速增长的容量需求；HBF 主打大容量填补 HBM 与 SSD 之间的缺口，SSD POD 通过 KV 缓存卸载换取灵活性，SRAM 以芯片内建换取极致解码速度。

NVIDIA 在推理存储架构的具体布局为何？

根据 NVIDIA 官方公告，NVIDIA 提出 SSD POD 概念（通过 Dynamo 框架的 NIXL 函数库卸载 KV 缓存），宣布将 Groq LPX 芯片纳入 Rubin 系列（预计 2026 年下半年出货），并发布 CMX 与 Vera CPU Rack；NVIDIA 已于 2025 年 12 月收购 Groq 的推理技术授权与核心团队。