阿里巴巴 QwenGyre 通过弹性 GPU 调度解决百万代币强化学习问题

Alibaba 推出了 QwenGyre，这是一种强化学习框架，专为极长时域智能体训练任务而设计，单次运行可持续数小时并消耗近 100 万个词元。该框架解决了传统在线 RL 流水线中的两个核心问题：运行时长的显著差异导致 GPU 在漫长执行尾部处于闲置状态，以及分支执行路径产生大量冗余训练数据。随着 LLM 智能体从解决单个代码仓库问题发展到构建完整代码库，QwenGyre 的双组件架构——弹性调度器和轨迹处理器——旨在优化百万词元工作流中的 GPU 利用率和训练数据效率。

弹性调度器在运行过程中重新分配 GPU 资源

弹性调度器通过将硬件组织成可独立切换的“单元”来解决 GPU 利用率不足的问题，并根据未完成运行任务数量的变化，在推理和训练之间重新分配这些单元。传统框架要么让整个 GPU 池在运行和训练之间交替切换（colocate），导致硬件在漫长的运行尾部处于闲置状态；要么在两个阶段之间静态划分 GPU（async），使任一侧都无法借用另一侧的闲置容量。QwenGyre 的方法不会中断正在进行的 harness 执行：模型请求会在运行过程中被重新路由至剩余的运行引擎，并通过 RDMA 迁移 KV 缓存，避免重复计算。新释放的单元会作为额外的数据并行副本加入正在进行的训练步骤，并从核心单元获取权威权重；流式训练则根据各组的进度分配微批次，使所有单元同步完成。角色转换速度很快——从运行转为训练平均耗时 8.5 秒，从训练转回运行平均耗时 3.5 秒；相比持续数小时的运行执行时间，这几乎可以忽略不计。

驯服分支轨迹

轨迹处理器负责处理训练数据本身。在 XLong 时域下，智能体 harness 会压缩已饱和的上下文、将子任务委派给子智能体，并重试失败路径，因此一次执行会产生由不同上下文路径构成的分支树，而不是线性轨迹。简单地扩展每条路径会重复共享前缀，并推高训练成本。QwenGyre 将执行重建为共享前缀的轨迹树，保留每个模型输出对应的精确原始条件上下文。只有策略实际生成的词元会用于训练，共享目标则通过树上的掩码仅计算一次。该框架还会评估部分进展：即使执行因超时结束，仍会根据其保留的工作区状态进行评估，因此部分尝试也能获得有意义的奖励，而不会被丢弃。在训练准入阶段，每次执行会选择数量受限的轨迹，且上限按照角色优先级确定（先主智能体，再子智能体，最后是摘要路径）；每次执行内的词元损失取平均，以防路径数量扭曲权重。

QwenGyre 将训练速度最多提升 1.85 倍

在 Alibaba 旗舰 Qwen 3.8-2.4T 模型上进行扩展测试时，每次运行约 70 万个词元。QwenGyre 在 48 个训练步骤中将 NL2RepoBench 通过率从 52.5% 提升至 58.5%，完成训练耗时 75.4 小时，而 async 和 colocate 基线分别耗时 134.6 小时和 91.5 小时——在训练分数与基线持平的同时，速度分别最高提升 1.78 倍和 1.85 倍。在评估的三个工作负载——NL2RepoBench、DeepSWE 和 TerminalBench——中，QwenGyre 在相同 GPU 预算下均稳定取得提升。

常见问题

Alibaba 的 QwenGyre 框架解决了强化学习中的什么问题？

QwenGyre 解决了极长时域 RL 中的两个核心问题：运行时长的显著差异导致 GPU 在漫长执行尾部处于闲置状态，以及在每次运行消耗近 100 万个词元的任务中，分支执行路径产生大量冗余训练数据。

与传统 RL 框架相比，QwenGyre 的速度快多少？

QwenGyre 在 Alibaba 的 Qwen 3.8-2.4T 模型上完成 48 个训练步骤耗时 75.4 小时，而 async 基线耗时 134.6 小时，colocate 基线耗时 91.5 小时；在训练分数与基线持平的同时，速度分别最高提升 1.78 倍和 1.85 倍。

QwenGyre 在 NL2RepoBench 上取得了怎样的性能提升？

在 Alibaba 的 Qwen 3.8-2.4T 模型上进行扩展测试时，每次运行约 70 万个词元。QwenGyre 在 48 个训练步骤中将 NL2RepoBench 通过率从 52.5% 提升至 58.5%。