诺基亚开源AnyJev：零训练将开源大模型转为校准决策模型
诺基亚应用研究团队开源AnyJev——一个无需训练的Python库，可将任意开源大语言模型（LLM）即时转化为具备概率输出的结构化决策模型。它通过循环移位与批量先验校正消除位置偏差和标签偏差，在BANKING77数据集上将选项顺序翻转率从0.230降至0.073，5%误差下的自动可决流量提升近6倍。
什么是AnyJev？
AnyJev是诺基亚应用研究团队开源的Python库，旨在将任意开源大语言模型（LLM）直接转化为结构化决策模型，全程无需微调或训练。其核心目标是解决实际部署中一类高频任务：从预定义的有限选项集中选择最优答案（如分类、是非判断、分档评分），而非生成自由文本。该库已发布至PyPI，采用Apache-2.0许可证，支持Hugging Face Transformers与vLLM后端，并集成共享前缀打分（shared-prefix scoring）以提升推理效率。
AnyJev的接口设计借鉴自TypeSafe AI于2026年9月发布的System One决策模型Jev。用户输入带类型标注的问题（如选择题、是非题、分档题），即可获得带置信概率的决策结果；该概率直接源自模型下一个token的原始logit分布，不涉及文本生成、后解析或参数更新。
直接读取logits为何不可靠？
当前许多开源项目已采用“限制候选token+读取对应logits”的简易方案，但诺基亚团队指出其存在两大缺陷：一是顺序敏感性——当选项列表顺序改变时，模型输出可能随之变化；二是概率未校准，即输出概率无法真实反映预测准确性。根本原因有二：其一为先验偏差（prior bias），例如模型天然倾向输出“Yes”而非“No”，与输入内容无关；其二为位置偏差（position bias），即模型对选项列表中特定位置（如首位）存在系统性偏好。
L0与L1两级校准机制
AnyJev提供两级校准策略：
- L0（默认启用） 包含两项技术：（1）循环移位（cyclic shifts）——对含K个选项的问题，将选项列表进行K次轮转，确保每个选项在每种位置均出现一次，再于log空间以几何平均方式聚合结果；若位置偏差在logit空间呈加性，则此法可完全消除；（2）先验校正（prior correction）——默认采用批量校准：基于真实输入持续计算预测分布的运行均值，并以0.75强度进行归一化除法；校正从第8个样本起生效。L0单次决策需K次prefill（共享前缀批处理），在单张H100 GPU、batch size=32、K=20时耗时约0.25秒。
- L1（适用于100–500标签/问题） 在L0基础上叠加温度缩放（temperature scaling），拟合参数以JSON格式保存为轻量级artifact。L1仅重塑置信度分布，不改变各选项的相对排序。
实测效果：显著提升稳定性与校准度
在Qwen3-8B模型与BANKING77数据集（20分类、300测试样本）上的基准测试显示：
- 选项顺序翻转率从原始logits的0.230降至L0的0.073、L1的0.077；
- 准确率从0.747提升至L0的0.803、L1的0.807；
- 校准误差（ECE）从0.240降至L0的0.184、L1的0.095；
- 在5%误差容忍阈值下，可自动决策的流量比例由7.7%跃升至L1的52.0%。
此外，在Qwen3-32B模型的类型化决策任务中，L1实现ECE=0.036，优于Jev公开报告的0.144；全消融实验覆盖Qwen、OLMo、Granite、Phi及Mistral等多系列模型。诺基亚团队亦在内部路由任务中验证了AnyJev的实用性。
快速上手示例
```python
pip install "anyjev[hf]"
from anyjev import Decider, Question from anyjev.backends.hf import HFBackend
d = Decider(HFBackend("Qwen/Qwen3-8B")) route = Question.choice("Which team should handle this?", ["billing", "technical", "sales", "other"], name="route") r = d.decide({"conversation": [...]}, [route]) print(r["route"].distribution) # 输出各选项概率 ```