阿里通义千问发布QwenGyre：面向超长周期智能体的弹性强化学习框架

面向小时级、百万Token级智能体训练的新框架

阿里巴巴通义千问团队正式发布QwenGyre——一个专为极端长周期（XLong-horizon）智能体训练设计的弹性强化学习（RL）框架。QwenGyre并非新大模型，而是一套在线RL系统，其核心能力在于支持未经修改、黑盒封装的测试环境（harness），完成持续数小时、处理近100万token的智能体rollout。该框架已在通义千问旗舰模型Qwen 3.8（2.4万亿参数）及Qwen 3.6（1220亿参数）上完成验证，单次rollout平均处理约70万token。

解决两大XLong-horizon训练瓶颈

研究团队将XLong-horizon任务定义为需数小时运行、涉及数百次模型调用与工具交互的复杂任务，典型场景如NL2Repo-Bench中依据自然语言需求生成完整代码仓库。在此尺度下，传统RL训练面临两个关键挑战：一是rollout执行存在显著长尾效应——在同构部署（Colocate）中，训练必须等待最慢执行完成，其余GPU长期空闲；在异步（Async）架构中，固定GPU池无法跨池共享冗余算力。二是真实智能体环境（如Claude Code）会自动压缩上下文、启动子智能体、重试失败步骤，使单次执行演化为分支树状轨迹，若全量展开将导致大量前缀重复计算与训练成本激增。

弹性调度器：GPU单元动态角色切换

QwenGyre提出“弹性GPU单元”（elastic cell）机制：将多节点GPU集群划分为若干逻辑单元，每个单元可灵活承担rollout服务或完整训练副本角色。其中一核心单元持有权威模型权重与优化器状态，其余卫星单元按需加入训练。调度器实时监控“执行水位”（queued + running rollouts），当活跃执行减少至剩余单元足以承载时，即触发角色切换。模型调用经由代理层路由，保障外部harness无感知；KV缓存块通过RDMA迁移，避免前缀重计算；卫星单元通过Mooncake Transfer Engine拉取核心权重，并以流式方式接入正在进行的微批次训练。实测平均角色切换耗时：rollout→training为8.52秒，training→rollout为3.46秒。

轨迹处理器：构建高效、公平、有界的训练样本

QwenGyre采用TITO（token-in/token-out）机制精确记录token ID与行为对数概率。所有调用被组织为前缀共享的轨迹树结构。其采样策略包含四重设计：（1）部分评分——超时执行仍基于其保存的工作空间进行评估，不视为零分；（2）有界采样——每轮执行最多保留5条轨迹，优先级为主路径 > 主路径摘要 > 子智能体路径 > 子智能体摘要；（3）去重训练——共享目标仅计一次，且仅对策略生成的token计算损失；（4）公平加权——损失在单次执行内部平均，避免分支数量影响整体梯度权重。该策略在保持5个未裁剪样本等效性能的同时，降低前向-反向传播耗时25.2%。训练采用适配版GSPO算法，每组含16个rollout。

性能表现与横向对比

在统一使用Claude Code 2.1.220作为harness、同等GPU预算与同步延迟约束下，QwenGyre在多项基准中超越Async与Colocate方案：在TerminalBench上对Qwen 3.6 122B实现1.85倍端到端加速；在NL2RepoBench上将48步任务的通过率从52.48%提升至58.54%。针对Qwen 3.8 2.4T的大规模实验显示，QwenGyre完成48步训练耗时75.42小时，较Async（134.55小时）与Colocate（91.47小时）分别提速1.78倍与1.21倍。横向对比显示，QwenGyre是当前少数明确支持黑盒harness、GPU角色动态切换且开源许可未披露的工业级agentic RL框架之一，区别于veRL（Apache-2.0）、AReaL（Apache-2.0）与Agent Lightning（MIT）。

> 编者观点：QwenGyre所聚焦的“超长周期智能体训练效率”问题，直指当前AI智能体落地企业级复杂任务（如全自动DevOps、跨系统业务编排）的核心瓶颈；其弹性资源调度思想，对中国AI基础设施厂商与大型模型服务商构建高吞吐、低延迟的智能体训练平台具有直接参考价值。