Contrastive-LM发布CLM-8B:首个开源System One类模型
Contrastive-LM推出开源模型CLM-8B,属新型对比语言模型(CLM),专用于对候选动作打分而非生成文本。其在零样本任务中最高达Jev模型9倍推理速度,支持TypeSafe兼容API,仅需1块NVIDIA GPU即可部署,Apache-2.0协议开源。
什么是CLM-8B?
Contrastive-LM正式发布CLM-8B,这是首个开源的「对比语言模型」(Contrastive Language Model, CLM)。该模型不属于传统大语言模型(LLM),不生成文本,而是针对给定状态对一组候选动作进行打分,并输出概率分布。其设计目标直指「System One」范式——即替代传统文本生成型智能体核心,转为执行结构化决策。CLM-8B明确对标TypeSafe AI公司于2026年9月15日开启有限早期访问的专有模型Jev,二者接口完全兼容。
接口与部署能力
CLM-8B通过GitHub仓库提供,后端采用TypeSafe兼容API,支持三类结构化问题:Noul(判断陈述真实性概率)、Choice(从预定义集合中按概率选择一项)、Score(在有序量规上返回预期等级)。用户可直接复用为Jev编写的请求,通过CLM官方Python客户端调用。模型头文件(head)仅75 MB,遵循Apache-2.0许可证,可在Linux系统单块NVIDIA GPU上运行,服务层集成vLLM,编码器基于Qwen3-8B。
技术原理:双编码器+对比学习
CLM-8B由冻结的Qwen3-8B骨干网络与两个2000万参数可训练投影头组成——分别作为状态编码器和动作编码器。训练采用双向InfoNCE损失函数:将每个状态向量拉近至其实际采取的动作向量,同时推远其余候选动作向量。推理时,模型计算状态嵌入与各动作嵌入的点积,再经softmax归一化为概率分布。该机制天然适配智能体循环中的状态更新与动作复用场景。clm-serve模块借鉴vLLM的KV缓存思想,预分配GPU显存并复用已计算的状态/动作向量;实测在RTX 4090上处理3个动作时,重复状态的推理延迟从1.7 ms降至0.6 ms。
三阶段训练策略
训练分三阶段:第一阶段使用约6000万条Nemotron DQA问答对进行预训练;第二阶段引入约3000万条由Gemini 2.5 Flash-Lite生成的合成难负样本;第三阶段在约100万条真实智能体轨迹(来自Agent Data Protocol、Endless-Terminals及LiteCoder-Terminal-SFT)上后训练。在10万条预留测试题上,仅预训练即达52.1% top-1准确率,加入难负样本后升至69.2%;若从训练初期即混入难负样本,则准确率峰值仅62.4%,且迅速过拟合。
性能对比:零样本与微调结果
零样本测试显示,CLM-8B在T-Rex游戏任务中延迟仅16.5 ms,显著低于Jev的149.8 ms(提速约9倍),成功率均为5/5;在WikiRacing任务中延迟79.8 ms vs. 225 ms,成功率为26/30 vs. 30/30。所有任务中CLM-8B均快于Jev,但在工具调用(BFCL v4)与WikiRacing上成功率略低。作为代码智能体验证器时,CLM-8B经轻量微调后,在DeepSWE子集Pass@1达73.7%(Jev为81.6%),延迟79 ms vs. 449 ms;在Terminal-Bench 2.1子集达84.0%(Jev为87.6%),延迟32 ms vs. 131 ms。研究团队称此为当前验证器任务新SOTA结果。
编者观点
CLM-8B标志着「决策优先」的智能体底层架构正加速开源化——中国企业若聚焦AI智能体落地,可快速集成此类轻量、高速、接口标准化的验证模型,降低对闭源System One方案的依赖,尤其适用于高频调用、低延迟要求的自动化工作流场景。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →