Aleph Alpha发布双语稀疏大模型Kolibri

Kolibri：面向主权部署的双语MoE模型

Aleph Alpha发布了Kolibri（Kolibri-1），一款专为英语和德语设计的开源混合专家（MoE）语言模型。其总参数量达78.1B，但每token仅激活3.46B（占比4.4%）。模型支持最长1,048,576 tokens的上下文长度，允许用户按请求动态设置推理强度，并以Apache 2.0许可证在Hugging Face平台开放下载。设计目标明确指向受监管行业的主权部署场景，包括欧洲公共行政、工业及航空航天领域。

可部署性与硬件需求

Kolibri具备实际落地能力：FP8精度检查点体积约为78GB，可在单块NVIDIA B200、B300或H200 GPU上运行；亦支持双H100 SXM5 GPU部署。推理服务通过vLLM框架实现，并集成了专用的Kolibri推理解析器（reasoning parser）与工具调用解析器（tool-call parser）。

全栈自主开发与合规设计

Kolibri由Aleph Alpha德国团队端到端自主研发，覆盖数据处理、架构设计、训练基础设施、后训练与评估全流程。训练基础设施位于德国与芬兰，严格遵循《欧盟通用人工智能行为准则》《欧盟AI法案》及GDPR要求。Aleph Alpha是该行为准则签署方，其数据流水线在训练前即对个人身份信息进行脱敏处理。

架构创新：稀疏专家与混合注意力机制

模型包含50个Transformer层，隐藏层维度为2560。每个MoE层配备384个专家，采用Sigmoid路由器对全部专家打分，为每个token选择Top-6专家，并始终激活1个共享专家。专家负载均衡通过“精确分位数平衡”（Exact Quantile Balancing）与“负载误差注入”（Load-Error Injection）技术保障。注意力机制采用分组查询注意力（GQA），含48个查询头与4个KV头；每第五层使用无位置编码的全注意力，其余40层则采用滑动窗口注意力（窗口大小512），结合RoPE位置编码。仅10层随上下文增长而扩展KV缓存，使同等算力下支持序列长度达全注意力模型的4倍。

德语优化分词器

Kolibri采用UniBPE算法构建128,000词表，相比传统BPE，其合并策略基于Unigram损失评分。在德语文本上实现4.90字节/Token，优于GPT-5的4.35，意味着德语网页文本token数量减少11.2%；英文场景下为4.58字节/Token，略优于GPT-5的4.67。

训练规模与后训练策略

预训练共消耗24万亿tokens：其中20万亿tokens在768块B200 GPU上完成；随后3.44万亿tokens以65,536长度进行中期训练；最后阶段使用262,144长度训练2010亿tokens长上下文能力。Aleph Alpha额外注入超2万亿德语语料，来源包括网络爬取与合成生成。后训练融合监督微调（SFT）与MergeMix方法，并基于超120万内部任务开展强化学习。模型还集成Merlin-Arthur协议，使其能在检索上下文不足以支撑答案时主动拒绝作答。

性能基准：高效率下的强表现

在统一评估框架下，Kolibri在多项英文评测中领先：GPQA Diamond（84.3）、AIME 2025（96.9）、AIME 2026（96.0）；在英文智能体平均分（Agentic avg）上与Qwen3.5 35B-A3B持平（63.4）；虽在BFCL v4（61.4 vs 70.5）略逊，但相较自身前身Kolibri Origin，解码吞吐提升2.7倍且英文得分高出21.4分。对比竞品，Kolibri在英德综合分（75.5 / 70.8）与行业RAG德语平均分（67.5）均居首位，且单位token激活参数量仅为Qwen3.8 27B的约1/8。

部署方式

用户可通过`aleph-alpha-inference`包快速部署：安装后执行vLLM服务命令，指定`--reasoning-parser kolibri1`与`--tool-call-parser kolibri1`启用专属解析逻辑；默认上下文为262,144 tokens，如需启用完整1M窗口，需添加`--max-model-len 1048576`并覆盖`max_position_embeddings`配置。

编者观点：Kolibri凸显了欧洲企业在合规前提下追求技术主权的务实路径——不盲目堆参，而以稀疏架构、本地化训练与强治理设计赢得特定市场信任，为中国AI企业出海欧盟提供了重要参照。