Reflection AI发布开源MoE模型Beam:501B参数、23B激活参数
美国公司Reflection AI推出开源权重模型Beam,总参数5010亿、每token激活230亿参数,专为代码与智能体任务优化。其推理效率达GLM-5.2的3–4倍,但暂未开放自托管部署,正处最终红队测试阶段。模型基于23.8万亿token预训练,采用创新稀疏架构与高并发强化学习训练。
Beam:面向企业级编码与智能体任务的开源MoE模型
Reflection AI正式发布其首个开源权重大模型Beam。该模型为稀疏型混合专家(MoE)架构,总参数量达5010亿(501B),但每token仅激活230亿(23B)参数,专为编程、复杂推理及AI智能体(agentic)工作负载设计。团队明确表示,Beam并非以绝对能力对标头部闭源模型,而是聚焦推理效率——在多项推理基准上,其计算开销仅为GLM-5.2的1/3至1/4。
目前Beam尚未开放自托管部署。模型正处于最终红队安全评估阶段,早期访问需通过Reflection官网等待列表申请,仅限平台内运行。
架构与预训练:高吞吐、低冗余、强稳定性
Beam从零开始训练,数据来自网络、公开资源及授权私有语料,总预训练token量为23.8万亿。团队强调数据筛选极为严格:原始互联网语料经清洗后剔除约95%,同时保留了约1.8万亿条常规过滤器会误删的高质量token。
模型架构融合局部与全局注意力机制,并采用细粒度专家路由策略。负载均衡借鉴DeepSeek-V3的无辅助损失平衡法,并引入专家偏置更新的余弦衰减机制;预训练末期,最繁忙专家负载仅为平均值的1.04倍。全52层网络中,残差范数通过深度自适应缩放(depth-based scaling)、SandwichNorm、注意力门控及FP32残差累加等技术保持稳定。
预训练在6144块NVIDIA GB300 NVL72 GPU上完成,耗时不足4周,最终有效吞吐率达92.3%,期间执行9次半自动重训(rewind)。训练中期即实现100万token的有效上下文长度扩展。
强化学习:超大规模异步RL驱动智能体能力跃升
强化学习(RL)是Beam能力扩展的核心路径。RL训练持续4周,动用10,500块GB300 GPU,生成超1亿次rollout,单次最大上下文达256K token。训练与评分环节共消耗近100万个沙盒环境,覆盖编程、智能体交互及STEM多类任务,总计调用约13亿沙盒实例。
训练采用完全异步策略梯度(asynchronous policy gradients):每个token均标记生成时对应的策略版本;新算法保障即使策略权重滞后一天(达107个版本)、仍能维持学习稳定性,且未观察到随RL算力增加而出现性能平台期。
基础设施表现突出:系统平均支撑11万并发rollout;新权重同步至推理集群的中位延迟仅约12秒;训练全程共处理71起推理异常事件,均未中断训练流程。此外,通过可控长度惩罚机制,模型学会以更少token完成任务;浏览类技能亦在未显式训练浏览任务的情况下显著提升,表明智能体能力存在跨领域迁移现象。
安全对齐与基准表现
安全与对齐模块独立于预训练检查点构建,再通过多教师在线蒸馏(multi-teacher on-policy distillation)与RL教师融合。安全训练采用“审慎对齐”(deliberative alignment)范式,详细评估结果将随技术报告一并发布。
在SWE-bench Verified基准上,Beam得分为80.9,显著高于Nemotron 3 Ultra的70.7;在Terminal Bench v2.1上得分为80.1,略低于GLM-5.2(81.0),但大幅领先Nemotron 3 Ultra(56.4),落后于DeepSeek V4.1 Flash(90.6)与Kimi K3(88.3)。所有对比数据均引自Reflection官方公告所列来源(Artificial Analysis、DataCurve及Hugging Face等),参数规格经2026年10月5日验证。
值得注意的是,Beam是当前同梯队开源模型中总参数量最小者,其23B激活参数亦低于GLM-5.2(~40B)、Nemotron 3 Ultra(55B)与Kimi K3(104B)。许可证方面,Beam计划采用Apache 2.0许可,属标准宽松开源协议;而Kimi K3采用定制许可,对超大规模商用产品附加署名要求。
编者观点
中国企业在推进大模型开源时,可借鉴Beam对‘效率优先’路线的系统性工程实践——在算力受限前提下,通过数据精筛、稀疏架构、异步RL与轻量对齐等组合策略,实现推理成本与智能体能力的最优平衡。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →