Linkup发布SPARSEUP：149M参数开源稀疏嵌入模型

模型发布与核心能力

Linkup研究团队正式开源SPARSEUP，一款完全开源的稀疏嵌入模型，采用149M参数的ModernBERT作为主干网络，遵循Apache 2.0许可证。该模型在标准BEIR-13检索基准（不含MS MARCO）上取得56.4的平均nDCG@10得分。团队称其为目前已知‘参数量低于150M、基于公开词汇表的最强稀疏编码器’。模型权重已上传至Hugging Face，支持通过Transformers或Sentence Transformers库加载，需启用`trust_remote_code=True`。

稀疏建模的动因与定位

当前主流开放检索模型多为稠密型（单文本→单向量），而稀疏模型输出的是词汇表维度上的权重分布——每个维度对应一个真实词元（token），因此天然适配倒排索引，且具备人类可读性，对低频词匹配效果更优。SPARSEUP的开发直接受LightOn公司近期发布的DenseOn（稠密模型）与LateOn（晚交互模型）启发。LightOn同步开源了训练数据、配方及模型，唯独缺失稀疏路径。SPARSEUP填补这一空白，复用相同主干家族与微调数据集，使稠密、晚交互、稀疏三类检索范式可在完全一致条件下横向对比。

架构设计与三项关键改进

SPARSEUP以LateOn-unsupervised检查点为起点，因该版本移除了MLM（掩码语言建模）头，团队重新接入ModernBERT原始MLM头；微调阶段仅使用LightOn提供的对比学习混合数据，每条查询采样7个池内难负例（pool size=50）及in-batch负例，未引入交叉编码器蒸馏，全程可在单张H100 GPU上完成训练。

针对基线SPLADE在此主干上生成大量停用词权重的问题，团队实施三项针对性改进：

• Logit偏移：将编码器输出调整为`log(1 + ReLU(x − 15))`，解决ModernBERT原始MLM logits过高导致初始化即饱和、向量过密的问题；
• 逐位置Top-k：每个输入词元仅保留其在词汇表中最强的12个维度权重，再经最大池化，限制单token扩展规模而非总向量维度；
• 大小写折叠：对Byte-level BPE分词中如`heat`、`Heat`、`Ġheat`、`ĠHeat`等不同ID，统一映射至同一词元ID并保留最大权重，使输出词表维度从约50k降至约34k。

查询与文档分别添加`[Q]`和`[D]`前缀，最终得分通过点积计算。评估时查询最大长度为128 token，文档为512 token。

性能表现与局限性

在BEIR-13（不含MS MARCO）上，SPARSEUP以56.4分领先其他公开稀疏模型：opensearch-neural-sparse-encoding-doc-v3-gte（54.6）、ModernBERT-VT（52.4）、splade-v3（51.7）。但在严格控制变量（同主干、同数据）的对比中，LateOn达58.9、DenseOn为57.9，SPARSEUP为56.4，落后前者1.52–2.5分。值得注意的是，SPARSEUP采用近似Seismic搜索，而LightOn报告结果基于精确搜索；其在ArguAna、Touché任务上反超DenseOn，并在HotpotQA上表现更优，但在FiQA（金融问答）和DBPedia等语义强依赖任务上差距显著。在去污染（decontaminated）BEIR子集上，与DenseOn的差距缩小至0.17分；但团队提醒，去污染后的NQ和MS MARCO仅含21和46个查询，统计噪声较大。

效率与稀疏性实测

在MS MARCO数据集上，SPARSEUP平均每查询含47个非零项、每文档含190个非零项（SPLADE-v3为25/170）。借助Seismic倒排索引，其单线程下实现约380微秒/查询的响应速度，对精确搜索的召回率达97%以上。团队指出，扩大向量维度或可提升BEIR分数1–2点，但为保持稀疏优势，选择维持当前设计。

编者观点

SPARSEUP的实践表明：在同等算力约束下，通过精细化的稀疏结构设计（如logit校准、局部top-k、词元归一化），中小规模模型仍能在可解释性、检索效率与效果间取得平衡——这为中国企业构建轻量化、合规可控、易集成的垂直领域检索系统提供了高价值开源基线。