OpenBMB发布MiniCPM5-2B:25亿参数端侧大模型,工具调用能力突出
OpenBMB正式发布MiniCPM5-2B,一款25.17亿参数的稠密因果语言模型,原生支持131072词元上下文,采用标准Llama架构,Apache 2.0开源。该模型在34项基准测试中平均得分53.9,显著领先同尺寸竞品,在工具使用、代码推理与长文本检索任务上表现最强。
模型架构与部署就绪性
MiniCPM5-2B是OpenBMB MiniCPM5系列的第二版模型,参数量为2,516,756,480(约2.52B),其中嵌入层外参数达1,981,982,720。模型共42层,采用分组查询注意力机制(16个查询头、2个键/值头),原生上下文窗口为131,072 token。其架构严格遵循标准LlamaForCausalLM设计,无需定制内核或修改模型代码,可直接被vLLM、SGLang、Hugging Face Transformers、llama.cpp、Ollama、LM Studio、MLX及FlagOS等主流推理引擎加载运行。模型权重以Apache 2.0许可证开源,具备明确的端侧部署可行性。
综合性能与任务优势
在涵盖34项基准的横向评测中,MiniCPM5-2B平均得分为53.9,高于同尺寸模型Qwen3.5-4B(51.1)、granite-4.2-3B(42.7)及LFM2.5-2.6B(33.2)。其优势高度集中于特定能力维度:在工具调用任务中大幅领先——τ²-Bench Telecom达97.1(对比基线6.8)、BFCL v4为66.6、τ³-Bench Banking为20.8;代码推理方面,LiveCodeBench v6得分69.1(基线56.4),SWE-bench Verified达46.4(基线33.6);长上下文检索中,NoLiMa得分68.1(基线43.5)。但在通用知识类任务上存在明显差距:MMLU-Pro为70.8(基线78.0),Humanity’s Last Exam为8.9(基线9.9)。
训练方法:强化学习+在线策略蒸馏
MiniCPM5-2B的后训练流程包含三阶段:先进行4000亿token的深度思考式监督微调(SFT),再分别构建面向数学、代码、智能体(agentic)和写作任务的强化学习(RL)教师模型,采用基于评判器的JustRL II算法;最终通过在线策略蒸馏(On-Policy Distillation, OPD)融合16个RL专家(含5个智能体方向专家)生成单一发布模型。OPD在每个响应位置以师生logits的全词表逆KL散度作为优势估计,复用原有RL提示作为蒸馏数据,不额外构建新语料。OpenBMB称该RL+OPD阶段在推理与通用基准上平均提升10.96分,在智能体类任务上提升6.96分。
全栈开源:数据、中间检查点与复现支持
除模型权重外,OpenBMB同步开源全套训练数据集,包括Ultra-FineWeb、Ultra-FineWeb-L3、UltraX、UltraData-Code、UltraData-Math、UltraData-SFT-2605、含50万智能体样本的UltraData-SFT-Agent-2609,以及含超8万样本的UltraData-RL-2609。同时发布Base、Midtrain和SFT-only等关键中间检查点,使各训练阶段贡献可独立验证。OpenBMB强调,开放数据与中间产物的价值远超综合平均分,是支撑其技术主张可检验性的核心基础。
编者观点
MiniCPM5-2B并非追求通用知识广度的‘全能型’模型,而是聚焦智能体场景的‘任务特化型’端侧基座——其工具调用与代码执行能力已接近实用门槛,为中国AI初创团队开发轻量化AI智能体提供了高性价比、可审计、可部署的新开源选项。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →