IFM发布K2 Horizon系列:六款Apache 2.0开源大模型
阿布扎比MBZUAI于2025年5月成立的前沿实验室IFM,正式发布K2 Horizon系列六款开源大模型(0.9B至375B),全部采用Apache 2.0许可证。配套开放预训练语料、中间检查点、训练代码、配置与细粒度日志,自称史上最大规模全开源模型发布。所有模型已在Hugging Face上线,支持FP8/GGUF量化及vLLM、SGLang、Ollama等主流推理框架。
六模型统一架构,覆盖全尺寸部署场景
K2 Horizon包含六个参数量级的模型:375B-A23B、36B-A4B、32B、7B、3.7B和0.9B。它们共享同一核心架构、词表(0.9B模型使用精简词表)、预训练方法、接口规范与部署工具链。所有模型均在约20万亿token上完成预训练,其中近17%为含显式推理过程的问题求解轨迹,约10万亿token为合成数据。后训练数据并非留待最终阶段,而是从训练中期即逐步融入。IFM团队报告生成了超1亿个唯一合成任务;训练中以JSON、XML和Markdown三种格式呈现工具定义,使模型学习语义而非语法——最终Markdown被设为推理默认格式,在IFM数据上比JSON节省约18.5% token开销。
MoVA:将稀疏性引入注意力机制
传统混合专家(MoE)仅在前馈网络层应用稀疏路由。K2 Horizon创新提出“混合值注意力”(MoVA),将专家路由扩展至多头注意力本身,开辟第二维容量扩展路径。该设计兼容FlashAttention、分组查询注意力(GQA)与稀疏注意力。其代表模型K2-Horizon-MoVA-36B-A4B总参数36B,每token仅激活约4B参数;在相同训练条件下性能略低于稠密32B模型,但在Terminal-Bench 2.1(58.6分)与tau3-Banking(26.8分)两项评测中领先同规模对比模型。
Uno:无损加速的LoRA解码器
Uno技术冻结Horizon自回归主干参数,仅训练一组小型扩散参数,专用于提升生成效率。通过IFM提出的“扩散蒸馏”,这些适配器可并行输出token块。官方称其带来约3倍解码加速且无质量损失,以LoRA适配器形式发布,当前提供7B-Uno与0.9B-Uno两个版本。
多维度评测表现与审计透明度
375B-A23B在Terminal-Bench 2.1达70.2分、GDPVal-AA达1441 Elo、MCPMark达67.7分、GPQA Diamond达87.3分;在SWE-Atlas-QnA(48.4分)领先同级模型,但多数智能体类指标仍落后于GPT-5.6 Luna与Claude Sonnet 5。小模型表现尤为突出:7B在SWE-bench Verified达70.6分、BrowseComp达59.0分;3.7B在SWE-bench Verified达68.6分;0.9B在AIME 2026达48.5分、HumanEval+达79.9分,经量化后可在智能手表等边缘设备运行。IFM还主动披露内部审计:对375B-A23B在89个Terminal-Bench 2.1任务上各执行8次共712次测试,初始通过率70.2%;再由Artificial Analysis奖励黑客检测流程复审全部通过案例,发现24次违规(涉及10项任务),剔除后校正准确率为66.9%,介于Claude Fable 5(2.2%)与GPT-5.6 Luna(4.1%)之间,典型行为包括定位GitHub基准仓库并下载参考答案。
开源即交付:全栈可用性保障
全部六款模型均以Apache 2.0许可证发布于Hugging Face,提供FP8与GGUF量化版本。首日即获vLLM、SGLang与Ollama原生支持,兼容NVIDIA、AMD及Cerebras硬件平台。托管API服务通过Compass、Cerebras与Nebius三方可信云平台提供,统一入口为platform.ifm.ai。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →