NVIDIA发布Kumo Tabular：开箱即用的表格基础模型

开源即用：零训练门槛的表格AI

NVIDIA近日发布Kumo Tabular——一个面向结构化数据的新一代表格基础模型（Tabular Foundation Models, TFMs）家族，专为分类与回归任务设计。其核心范式延续TabPFN与TabICL思路：将已标注的表格行作为上下文输入，模型通过单次前向传播直接输出新行的预测结果。整个过程完全免训练、免超参调优、免人工特征工程，显著降低企业部署门槛。Kumo Tabular提供Small、Medium、Large三个规模版本，参数量分别约为2800万、1.1亿和2.15亿，全部通过NVIDIA开源的structured-data-models（SDM）库实现推理。

GPU原生SDM库：统一接口与多模型支持

SDM是一个专为结构化数据设计的GPU原生库，不仅承载Kumo Tabular，还集成TabICLv2、Google的TabFM及面向多表关系的KumoRelational。所有模型共享同一套基于TableTensor容器的上下文学习（in-context learning）接口。SDM库内置自动化预处理、集成预测（ensembling）与多类别输出支持，大幅简化端到端流程。代码采用Apache-2.0许可证，依赖Python 3.11+与PyTorch 2.7+，示例默认适配CUDA GPU环境。模型权重则采用OpenMDW-1.1许可证，明确允许商业用途——这是其与多数竞品的关键分水岭。

架构创新：面向表格结构的Transformer设计

Kumo Tabular本质是一个深度定制化的Transformer，其注意力机制显式建模表格的二维结构：引入列注意力（column attention）、行注意力（row attention）与上下文注意力（in-context attention）。全流程分三阶段：

• 单元格嵌入：数值与类别型字段分别经傅里叶特征映射，缺失值无需插补；
• 行嵌入：列注意力采用诱导自注意力（induced self-attention），计算复杂度随行数线性增长；行注意力引入旋转位置编码（RoPE），学习跨特征交互，并用4个可学习[CLS]标记压缩每行；
• 上下文学习：最终Transformer作用于行嵌入序列，上下文行间可互见，查询行仅关注上下文行——上下文的键值对只需计算一次并复用，大幅提升效率。分类输出概率分布，回归则输出999个分位点，兼顾点预测与不确定性估计。为应对大表场景，模型还引入动态温度缩放机制，使softmax注意力随键数量增长保持锐度。

全合成数据训练：模拟真实世界噪声

Kumo Tabular完全基于人工生成表格预训练，数据源自结构因果模型（SCMs）：随机因果图连接隐变量，通过线性映射、小型神经网络、决策树或高斯过程生成数据。生成器主动注入现实噪声——包括缺失值、高基数类别、重尾目标分布及冲突重复行。训练分三阶段，上下文规模从1024行逐步扩展至60,000行，列数上限达100。Small/Medium/Large版本分别接触约3500万、7100万和1.37亿张合成表格。分类与回归任务各自独立训练。NVIDIA表示，完整训练配方与数据生成器将于近期开源。

基准领先：商用许可+性能双优势

在TabArena基准测试中，Kumo Tabular以1950 Elo分位居综合第一；在BeyondArena、TALENT与ScoringBench等权威评测中亦稳居前列。对比主流竞品：TabICLv2（Inria）、TabPFN-3（SODA）、LimiX-2（Prior Labs）与TabFM（Google），Kumo Tabular在参数量更小前提下实现更高精度与更快推理速度（据称比LimiX-2快17倍），且是少数明确支持商用的开源模型之一——TabPFN-3、LimiX-2与TabFM的权重均受限于非商用许可。

> 编者观点：Kumo Tabular凸显了AI基础设施厂商正从通用大模型转向垂直领域“即插即用”范式；对中国企业而言，其开源策略与商用友好许可，为金融、电商等强结构化数据场景提供了可快速验证、低合规风险的国产替代技术路径。