NVIDIA发布Nemotron 3.5 Lightning开源MoE模型与NeMo Switchyard路由库

面向AI智能体执行层的双组件发布

NVIDIA宣布推出两项开源技术，旨在支撑‘始终在线’（always-on）AI智能体的规模化构建：Nemotron 3.5 Lightning——一款面向高吞吐量智能体任务的轻量、可定制开放模型；以及NeMo Switchyard——一个开源模型路由库，可在智能体工作流的每一步动态调度最适配、最高效的专用模型。二者共同应对一个结构性瓶颈：长周期运行的智能体大部分时间消耗在工具调用、结果校验与子智能体委派等执行环节，若将所有步骤均交由前沿大模型处理，将显著推高成本与延迟。

Nemotron 3.5 Lightning：30B MoE，仅3B激活参数

Lightning是Nemotron 3系列中最小成员，采用融合Mamba-2、混合专家（MoE）与注意力机制的混合架构，上下文窗口达100万token。其总参数量为300亿，但每次前向传播仅激活约30亿参数。预训练阶段覆盖超20万亿token，使用NVFP4量化方案。NVIDIA称其输出速度最高可达同规模模型的4倍，在PinchBench基准测试中，以与Qwen3.6-35B相当的准确率完成10,000项任务的速度快30%。模型卡显示其在MMLU Pro（81.94/81.62）、GPQA Diamond（75.44/75.57）、SWE-bench Verified（51.56/52.80）等评测中表现稳健，推荐采样参数为temperature=1.0、top_p=0.95。

开源可用与广泛部署能力

Nemotron 3.5 Lightning已依据宽松的OpenMDW-1.1许可证全面开源，包含模型权重、训练数据集与完整训练配方，明确标注‘可供商业使用’。部署门槛极低：单块现代GPU即可运行，官方支持1×DGX Spark（GB10）或1×H100配置；中小团队可通过Baseten、Together AI或Nebius云平台托管；受监管企业则可完全本地化部署。CrowdStrike、Harvey、CodeRabbit、Fastino Labs和Lila Sciences等公司已基于该模型定制开发，应用于网络安全、法律文书解析、编程辅助、金融风控及医疗健康场景。

性能加速的两大技术路径

速度提升源自两方面设计：一是推测解码（Speculative Decoding）——预训练阶段即嵌入多token预测能力，并经MTP增强阶段进一步优化；同时提供两个外部草稿模型：DSpark（适用于DGX Spark及低并发数据中心场景的半自回归草稿器）与DFlash（基于轻量块扩散模型）。二是量化支持——同步发布NVFP4与BF16双精度检查点，原生兼容Blackwell与Hopper架构GPU，并通过W4A16内核向Ampere架构延伸。

NeMo Switchyard：无需调优的智能路由库

NeMo Switchyard是一个开源模型路由框架，支持在智能体工作流中按需分发任务。它提供多种开箱即用的无须微调路由器：基于LLM的分类器（支持会话亲和性）、读取近期工具调用历史的阶段路由器，以及‘先廉价后升级’的阶梯式升级路由器。另有一个可调优的prefill路由器，通过分析模型残差流预测候选模型成功率。参考服务器兼容OpenAI、Anthropic及Responses API协议。实测显示：LangChain在145个多轮智能体任务中，结合Lightning与Claude Opus 4.8使用阶梯路由器，相较纯前沿模型基线降低74%成本，仅7%请求路由至Opus，准确率下降约6个百分点；Cognition在Devin Desktop中实现分阶段路由，在FrontierCode Main基准上，于Opus 5与Kimi K2.7间调度，以$3.11平均成本达成50.6%准确率，较Opus 5单独运行成本降低约28%，准确率差距仅2.8个百分点。