Thinking Machines发布Inkling-Small：276B参数开源多模态MoE模型

开源即战力：轻量但更强的多模态MoE

Thinking Machines Lab正式发布Inkling-Small——一款总参数量2760亿（276B）、每步仅激活120亿（12B）参数的开源多模态混合专家（MoE）语言模型。作为其前代超大规模模型Inkling（975B总参、41B激活）的精简版本，Inkling-Small参数规模约为后者的四分之一，但并非简单剪枝，而是在训练策略、数据配比和后训练方法上进行了系统性优化。模型基于NVIDIA GB300 NVL72系统完成训练，原生支持文本、图像与音频三模态联合推理，上下文窗口达100万token，且‘思考努力度’（thinking effort）可动态调节。

可商用部署：从实验室走向生产环境

Inkling-Small的开源权重以Apache 2.0许可证发布于Hugging Face平台，具备明确的商业友好性。其部署可行性是本次发布的核心突破：BF16精度完整权重需至少600GB聚合显存（如4×NVIDIA B300或8×H200），而经NVFP4量化后的检查点将显存需求降至180GB——这意味着它可在单块B300 GPU（需SM100+架构）上以W4A4精度运行，或在两块H200上以W4A16精度运行。官方支持SGLang、vLLM、TokenSpeed、Unsloth及Hugging Face Transformers等主流推理框架。这一能力使276B级模型首次脱离‘前沿实验室专属’范畴：初创公司可租用单台B300实例自主托管；中型企业若已部署H200集群，无需新增硬件即可服务；金融、医疗、保险、电信及公共部门等强监管行业，亦可依托私有化部署满足数据主权与合规要求。

架构设计：稀疏路由+原生多模态融合

Inkling-Small采用42层纯解码器Transformer架构，前馈网络为稀疏MoE结构：每层含256个专家，每个token动态路由至其中6个，外加2个全量激活的共享专家。注意力机制融合局部与全局模式，无独立编码器，实现真正的端到端多模态处理。图像被切分为40×40像素块，经四层hMLP编码；音频转换为dMel频谱图；二者均通过轻量嵌入层与文本token对齐，在同一解码器中联合建模。数值精度支持BF16、MXFP8与NVFP4；音频输入限定为16kHz WAV格式（建议时长≤2分钟），输出则严格限定为文本。

性能表现：小模型反超大模型

在多项权威基准测试中，Inkling-Small展现出‘以小博大’的推理优势。在纯文本推理任务Humanity’s Last Exam中得分31.6%，超越Inkling的29.7%；SWE-bench Verified（编程能力）达80.2%（Inkling为77.6%）；Terminal-Bench 2.1（终端自动化）最高达64.7%；Toolathlon Verified（工具调用）为54.4%（Inkling为45.5%）。数学与逻辑类任务同样亮眼：GPQA Diamond（89.5%）、AIME 2026（95.5%）、IFBench（82.2%）、ARC-AGI-2（40.1%，Inkling为36.5%）。多模态能力紧贴前代：MMMU Pro（74.0%）、CharXiv RQ（77.4%，程序化图表分析后升至81.3%）、VoiceBench（90.1%）。值得注意的是，部分常识问答任务（如SimpleQA Verified）分数下降，反映模型能力分布的结构性调整。

安全与认知可靠性：校准与防御并重

在认知可靠性方面，模型通过强化学习结合真实世界预测问题语料库进行校准，ForecastBench（无搜索）Brier指数达61.3±0.46，优于Inkling的60.1±0.54。安全评测显示StrongREJECT（对抗拒绝率）为98.4%，FORTRESS良性测试通过率96.9%，恶意测试通过率71.6%。研发团队指出，该模型未引入超出当前开源生态的风险增量，但仍建议面向公众的应用叠加Llama Guard等下游内容审核层。

> 编者观点：Inkling-Small标志着开源多模态大模型正从‘堆参数竞赛’转向‘高效能工程化’——中国企业可重点关注其单卡部署路径、多模态轻量融合架构及金融/医疗等垂直场景适配方案，加速构建自主可控的AI基础设施底座。