Liquid AI发布LFM2.5双编码器：8K上下文CPU实时推理

基于LFM2架构的双向编码器发布

Liquid AI正式开源两款开放权重双向编码器模型：LFM2.5-Encoder-230M与LFM2.5-Encoder-350M。二者均构建于LFM2.5混合骨干网络之上，采用掩码语言建模（MLM）训练范式，上下文窗口统一为8,192词元。该类编码器常部署于分类器、意图路由模块、安全过滤器及PII（个人身份信息）检测器底层，需持续运行且多在无GPU环境下执行——尤其面对日益增长的长文本输入。

从解码器到编码器的技术路径

两模型并非从零训练，而是分别以LFM2.5-230M与LFM2.5-350M解码器骨干为起点，通过三项关键改造完成转换：第一，将因果注意力掩码替换为双向掩码，使每个词元可关注左右两侧全部上下文；第二，将LFM2短卷积层改为非因果结构，采用对称中心填充，实现邻域双向特征融合；第三，以30%掩码率开展MLM训练——高于BERT的15%，Liquid AI援引实证指出该密度更适配当前模型尺度。

训练分两阶段：第一阶段使用1,024词元上下文，在大规模网页语料上建立基础语言能力；第二阶段扩展至8,192词元，在完整数据混合集上强化事实性、法律文本及多语言理解能力。架构上延续LFM2技术报告设计：门控短卷积块与分组查询注意力（GQA）交替堆叠。两模型隐层维度均为1024，词表含65,536个词元，支持15种语言，采用LFM Open License v1.0授权。

多任务基准表现

Liquid AI在GLUE、SuperGLUE及多语言分类共17项任务上评估14个模型，所有模型均按任务全参数微调。LFM2.5-Encoder-350M在17任务均值得分为81.02（±1.00），位列第四；前三名均为更大模型：XLM-R XL（3.5B参数，83.06）、ModernBERT-large（395M，81.68）、XLM-R large（560M，81.34）。LFM2.5-Encoder-230M得分为79.29（±1.02），排名第六，超越ModernBERT-base（78.19）及全部EuroBERT系列（如EuroBERT-610M得75.87）。值得注意的是，二者亦显著优于Liquid AI自研检索模型LFM2.5-ColBERT-350M（76.18）与LFM2.5-Embedding-350M（75.68），这正是其转向通用编码器研发的核心动因。

方法论与开源细节

评测方法全面开源（Apache-2.0协议）：所有模型以fp32主权重加载、bf16自动混合精度推理，确保公平比较；统一采用EuroBERT所用AdamW优化器配置；学习率经10档网格搜索+3种子筛选后，最终结果取5个全新随机种子均值；transformers库版本锁定为4.56.2，消除依赖漂移干扰。

面向真实场景的部署定位

官方明确三大适用场景：一是边缘与嵌入式设备——如车载计算单元或工业控制器，既无GPU冗余资源，亦无法承受云端往返延迟；二是金融、医疗、法律等强监管领域，文档长、敏感度高，必须本地化处理；三是高并发、成本敏感型流水线，小型编码器可作为廉价前置过滤层，为后续大模型提供初筛结果。8,192词元约对应13–15页文本，单次前向传播即可覆盖整份合同或完整病历。

为展示落地形态，团队发布5个纯CPU运行的Hugging Face Space演示：涵盖零样本提示路由、零样本策略合规检查、拼写纠错；PII检测器支持16种语言、40类敏感信息识别；另有一项掩码扩散（masked-diffusion）彩蛋——将编码器用作迭代去掩码式聊天机器人。

快速接入方式

两模型可通过Hugging Face Transformers直接加载：核心编码器类为`Lfm2BidirectionalModel`，掩码语言建模任务使用`Lfm2BidirectionalForMaskedLM`；二者均通过`auto_map`机制注册，加载时须显式设置`trust_remote_code=True`。

编者观点：对国内企业而言，此类兼顾长上下文、CPU友好、开箱即用的轻量编码器，为政务、司法、制造业等边缘算力受限但合规要求严苛的场景提供了可快速集成的AI基础设施选项。