Cohere发布2180亿参数稀疏MoE翻译模型North Small Translate

专为翻译而生的稀疏MoE模型

Cohere与Cohere Labs联合发布North Small Translate——一款开源权重的机器翻译模型。该模型为稀疏Mixture-of-Experts（MoE）架构，总参数量2180亿，每token仅激活250亿参数。它支持从阿尔巴尼亚语到越南语共50种语言，是Cohere‘North’系列首个模型，延续了Tiny Aya和Command A Translate的多语言技术脉络。模型由Cohere与本地化服务提供商RWS合作开发，后者旗下Language Weaver团队的语言专家深度参与了真实场景质量优化。

架构设计：兼顾效率与表达力

North Small Translate采用decoder-only稀疏MoE Transformer结构。关键设计包括：128个专家模块，每token激活其中8个，另设共享专家作用于所有token；路由机制采用sigmoid归一化后的top-k选择；注意力机制混合使用滑动窗口层（窗口大小4096，含RoPE）与无位置编码的全局层，比例为3:1——该布局最早见于Command A模型。上下文长度达16K输入+16K输出token（纯文本），经专门针对翻译任务的后训练优化。约11.5%的权重在推理时被激活，单token计算量对应250亿参数，但显存仍需容纳全部2180亿参数。

自测基准表现：83.6分领跑同类

在Cohere自建的WMT26多语言评测中，North Small Translate标准版平均得分为83.6，Agentic变体（通过多轮自检纠错工作流增强）达84.36。对比项中，其得分高于DeepL NextGen（81.37）、Qwen 3.5 397B A17B（81.56）、Gemma 4 31B（79.46）、GLM 5.2 FP8（76.50）及Google Translate（68.20）。区域细分显示：在欧洲语言上，North标准版以82.17分显著优于Gemma的72.73；南亚语言则略逊于Gemma 4 31B（86.16 vs. 88.04）。需注意，所有分数均由Cohere内部运行、以GPT-5.6-Sol为评判模型得出，尚未获第三方WMT26官方验证。

实际性能优势：长文档、速度与成本

Cohere实测表明，该模型在低并发下生成速度达112 token/s，高于Gemma 4 31B的81 token/s；高并发下为39 vs. 30 token/s，即吞吐量最高提升1.4倍。长文档处理尤为突出：一次性翻译两章书籍内容时，xCOMET-XL段落级评分为48.9，远超Google Translate（21.3）和Gemma 4 31B（19.4）。成本方面，按661 token/任务计，North Small Translate定价为0.000676美元，仅为Gemini 3.1 Pro Preview（high）的1/58，也显著低于Qwen 3.5（0.004525美元）和Command A+（0.005158美元）。

部署方式灵活：API、自托管与商用许可

用户可通过Cohere Chat V2 API免费调用（受速率限制），亦可非商业自托管或申请商业授权。Cohere已公开发布三类量化精度检查点：BF16（需4×B200或8×H100）、FP8（需2×B200或4×H100）、NVFP4/W4A16（最低配置仅需1×B200或2×H100），适配不同硬件条件。官方示例代码已提供Python SDK调用范式。

编者观点：该模型凸显大厂正从通用大模型转向垂直任务专用架构，中国企业出海若面临多语种合规文档、实时协作等强需求，可关注此类轻量化、高性价比、主权可控的开源翻译方案。