Fastino发布GLiNER2.5-Decide：340M参数开源决策模型，CPU即可运行

专注结构化判断的轻量级决策模型

Fastino Labs近日发布GLiNER2.5-Decide，一个参数量为340M、完全开源（Apache 2.0许可证）的决策模型。它不生成文本，而是在给定输入文本和预定义结构化schema（含类型化问题及允许答案集）的前提下，输出带概率分布、置信度分数与约束可行性元数据的结构化答案。该模型明确聚焦于AI智能体工作流中高频出现的运营型判断任务，包括意图路由、优先级分诊、工具调用决策及安全守卫（guardrails）等场景。

非生成式架构与联合解码机制

GLiNER2.5-Decide基于DeBERTa-v3-large编码器，由gliner2-large-v1微调而来，属于非生成式分类器。它不依赖提示模板，也不输出任何生成token；标签集在推理时动态传入。每个schema问题明确定义其答案类型（单选、多选或有序值），并可附带指令、示例、标签说明及跨问题逻辑规则（如互斥、蕴含、基数限制、序数边界等）。整个流程分为两阶段：编码器对文本与schema联合编码并为所有允许答案打分；随后，约束解码器在规则约束下搜索全局最优的联合赋值方案。

Fastino强调该模型不具备推理、解释或开放问答能力，而是专精于确定性、可验证的操作决策。团队以安全守卫为例说明联合解码价值：若独立判断，模型可能对同一输入分别给出‘检测到提示注入（置信0.82）’和‘内容安全（置信0.52）’两个冲突结论；而通过设定‘一旦检测到危害即必须标记为unsafe’的规则，联合解码可确保输出一致且可执行的结果（如`safety=unsafe`与`harm_type=prompt_injection`同步返回），便于下游系统直接执行拦截、路由或告警。

实测性能：CPU友好，精度领先

Fastino在内部构建的基准套件Fast Decisions（含17个领域数据集、5100条测试样本，覆盖客服、银行、临床、旅行、福利及通用内容理解）上进行了评估。采用精确匹配（exact-match）作为主指标——仅当预测标签集合与标准答案完全一致才计为正确。结果显示，GLiNER2.5-Decide以60.1%平均准确率位居榜首，显著优于Qwen3.5-4B类解码器（57.5%、56.4%）、GLiFormer large-v1（49.0%）及ModernBERT变体（46.6%）。其在意图路由任务中优势尤为突出：支持类意图识别达75.3%，银行业务意图达64.3%，分别领先次优模型18.6和8.6个百分点。

在延迟方面，该模型展现出优异的CPU适配性。在batch size=1、含2个问题头与15个标签的典型配置下，64-token输入的p50延迟为：Intel Xeon Platinum 8581C（48核）仅167.3ms；NVIDIA T4为43.6ms；L4为43.4ms；V100为38.3ms；A100为47.3ms。短请求主要受固定预处理与内核启动开销影响，使各GPU性能差距压缩至9ms内。在1024-token长输入下，A100仍保持最低延迟（52.6ms），但L4升至131.4ms，凸显CPU部署在中低负载场景下的实用竞争力。

开箱即用与生态扩展

用户可通过`pip install gliner2`一键安装，并调用`AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")`快速接入。API支持多头分类，例如对一句业务请求自动解析其意图、紧急程度与分发路径。此外，Fastino同步推出更大规模的GLiNER2.5-Decide-1B（基于Ettin 1B编码器，准确率59.6%）及多语言版本GLiNER2.5-multi-Decide（287M，56.7%），并提供本地全参数/LoRA微调工具与面向编码智能体的SKILL.md工作流文档。

编者观点

该模型凸显了AI智能体落地中‘小而专’决策模块的价值——在保障精度的同时大幅降低硬件门槛，为中国企业构建轻量化、高可控、易审计的智能体基础设施提供了新路径。