JetBrains发布Mellum2.1：120亿参数MoE编程智能体模型

专为编码智能体优化的轻量级MoE模型

JetBrains正式发布Mellum2.1，一款面向编码智能体（coding agents）及快速子智能体（sub-agents）的开源大模型。该模型为120亿参数混合专家（MoE）架构，每处理一个token仅动态激活25亿参数（64个专家中选8个），上下文长度达131,072 tokens。模型以Apache 2.0许可证开源，已在Hugging Face平台提供完整权重，支持本地私有部署。

架构延续但能力跃升：RL驱动的真实环境训练

Mellum2.1沿用Mellum2的原始架构：28层Transformer、64个专家、每token路由激活8个专家；注意力机制采用分组查询注意力（GQA），含32个查询头与4个KV头；75%的层使用1,024-token滑动窗口；词表规模98,304；权重格式为bfloat16。关键升级全部来自后训练阶段——JetBrains将强化学习（RL）从原流程中的收尾环节，提升为核心训练范式，并全面迁移至真实软件工程环境：模型在数以千计的隔离沙箱中操作真实代码仓库，通过shell命令与文件编辑工具执行任务，仅当单元测试通过时获得奖励。训练数据经过严格过滤，剔除含错误测试、不可验证答案或难度失衡（过易/过难）的任务，覆盖数学、竞技编程、科学推理、工具调用及软件工程五大领域。

基准表现：强于前代，部分超越Qwen3.5-9B

JetBrains在统一推理管道（thinking mode）下对比评估了Mellum2.1、Mellum2、Qwen3.5-9B与Gemma 4 E4B。结果显示：Mellum2.1在17项公开基准中，15项优于Mellum2；在LiveCodeBench v6（82.0）、HumanEval+（91.5）、MBPP+（79.4）和BFCL v4（62.3）上领先全部竞品；SWE-bench Verified得分从2.0跃升至47.0，SWE-bench Pro从0.0升至28.0，Terminal-Bench 2.1从0.6提升至17.4。但在高难度代理型软件任务上仍落后于Qwen3.5-9B（SWE-bench Verified 50.0，SWE-bench Pro 38.0），且在AIME 25/26与GPQA Diamond等知识密集型任务中亦处下风。安全指标HarmBench得分由21.5降至8.5（越低越好），显示对齐性改善。

部署灵活、推理高效

得益于架构未变，Mellum2.1推理速度与Mellum2一致。在单块NVIDIA H200 GPU重载环境下，其吞吐量接近Qwen3.5-9B的2倍；单请求多token预测（MTP）模式下提速约1.6倍。官方推荐使用vLLM部署，启用`--reasoning-parser qwen3`及工具调用参数`--enable-auto-tool-choice --tool-call-parser hermes`；建议采样参数为temperature=0.6、top_p=0.95、top_k=20。GGUF量化版本已上线，最小体积仅7.0 GB（MXFP4_MOE格式，top-token匹配率85.6%），适用于llama.cpp、Ollama与LM Studio等轻量框架。

对中国企业的启示（编者观点）

Mellum2.1印证了“小而精”的MoE架构在垂直智能体场景中的可行性——不盲目堆参，而是以真实环境RL驱动能力进化，兼顾性能、可控性与本地化部署成本，为中国企业研发自主可控的行业智能体提供了可复用的技术路径与工程范式。