百度开源 ERNIE-5.5-Flash-Base：总参数量达 2800 亿，预训练权重已上线 Hugging Face

百度 ERNIE 团队于 11 月 5 日宣布，已在 Hugging Face 平台发布 ERNIE 5.5 Flash 模型的原始预训练版本 ERNIE-5.5-Flash-Base。此稀疏混合专家语言模型拥有 2,800 亿个参数，每个 token 激活 140 亿个参数，以 33.5 万亿个 token 从零训练。

开源内容与授权：预训练原始检查点，FP8 与 BF16 格式，遵循授权协议 v1.0

据百度公告，ERNIE-5.5-Flash-Base 为预训练阶段的原始检查点，尚未经过中期训练或后期训练，因此属于基座模型，而非可直接对话的指令模型。权重数据以 FP8 与 BF16 两种格式提供，使用范围遵循 ERNIE 5.5 Flash 基础模型授权协议 v1.0；部署方面可通过 SGLang 与 vLLM 运行，NVIDIA 的 Megatron-Bridge 代码库则提供了一个微调示例。

模型规格：43 层、每 token 激活 140 亿参数

据百度公布的规格，ERNIE-5.5-Flash-Base 的主要参数如下：

架构层数：43 层解码器

总参数与活跃参数：总参数 2,800 亿，每个 token 激活 140 亿

训练数据量：33.5 万亿 token，从零开始训练

训练上下文：最大 12.8 万 token

微调与推理上下文：支持最高 100 万 token

注意力设计：43 层中 37 层关注压缩序列，低秩门控机制减少 75% 门控投影参数

据百度说明，这个模型的设计以效率为核心。大多数层采用「高度压缩注意力机制」，将每 128 个 token 折叠为一个缓存条目；仅七分之一的层通过多头潜在注意力（multi-head latent attention）结合稀疏 top-k 选择，保持对完整上下文的 token 级访问。

43 层中有 37 层关注压缩后的序列，因此键值缓存（KV cache）维持在较小规模。研究团队表示，低秩门控注意力机制的设计可将门控投影参数减少 75%。

MoE 与 ECHO：多个独立路由器共同评分，ECHO 兼作推测解码草稿模型

在混合专家（MoE）部分，百度以多个独立初始化的路由器取代传统单一路由器，由这些路由器共同对专家评分；百度表示，此设计提高了路由评分与专家实际效用之间的匹配度，同时不改变活跃专家数量、计算量或通信量。每个 MoE 层从 512 个路由专家中选择 10 个，外加 1 个共享专家，并在压缩的潜在空间中运作，据百度说明，这约将通信量与专家计算量减半。

另一组件 ECHO 重用模型最后一层预测未来 token，取代独立的多 token 预测模块，同时也可作为推测解码（speculative decoding）的草稿模型。

训练基础设施与数据：Muon 优化器、FP8 混合精度

据百度说明，预训练使用 Muon 优化器，在数千台加速器上采用 FP8 混合精度，并加入新的注意力核心 FlashMask-4。百度表示，在 SM100 级 GPU 上，FlashMask-4 于大尺寸注意力头的情况下，前向传播速度较 FlashAttention-4 快 175%。

数据集着重于代码库层级的代码，包括提交记录、拉取请求、代码审查、经持续集成验证的修复，以及长篇文档。

基准测试：30 项测试对比 DeepSeek-V4-Flash-Base，MMLU-Pro 78.4 分

据百度使用相同评估框架公布的结果，ERNIE-5.5-Flash-Base 在 30 项基准测试中，与 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 进行比较。主要得分如下：MMLU-Pro 为 78.4 分，DeepSeek-V4-Flash-Base 为 69.2 分；HumanEval+ 为 82.3 分，DeepSeek-V4-Flash-Base 为 69.5 分。

百度另表示，该模型在 ChineseSimpleQA、搭配心智图提示的 BBH，以及 InfiniteBench 等部分测试中表现较佳。上述数据为百度自行公布的评估结果，尚无独立第三方验证的说明。

常见问题

ERNIE-5.5-Flash-Base 是什么类型的模型？

据百度说明，ERNIE-5.5-Flash-Base 是预训练阶段的原始检查点，尚未经过中期训练或后期训练；它是基座模型，适合作为领域自适应、指令调优与强化学习研究的起点，而非直接对话的指令模型。

这个模型的参数规模与上下文长度是多少？

据百度公布的规格，模型总参数为 2,800 亿，每个 token 激活 140 亿；训练上下文最大为 12.8 万 token，微调与推理可支持最高 100 万 token。

ERNIE-5.5-Flash-Base 可以在哪里获取与如何部署？

据百度说明，模型权重已在 Hugging Face 平台发布，提供 FP8 与 BF16 格式，遵循 ERNIE 5.5 Flash 基础模型授权协议 v1.0；可通过 SGLang 与 vLLM 部署，NVIDIA Megatron-Bridge 代码库提供微调示例。

百度何时会发布经过后期训练的版本？

据百度团队表示，后续将发布经过后期训练的 ERNIE 5.5 Flash 模型；具体发布时间以百度官方后续公告为准。