Supersonic Labs发布Julia 1:1.44亿参数开源决策模型,纯CPU可运行
巴西AI实验室Supersonic Labs发布轻量级开源决策模型Julia 1,参数量144.3M,专为多选项分类、评分与真值判断设计,无需GPU即可本地运行。模型基于mmBERT-small改进,Apache 2.0许可,权重已开源至Hugging Face。在多项基准测试中表现优于竞品Jev,但在72类 Banking77 任务上显著落后。
一款专注‘决策’而非生成的轻量模型
Supersonic Labs(一家来自巴西的小型AI实验室)正式发布Julia 1——一个144.3百万参数的开源决策模型。它并非聊天机器人或文本生成模型,而是专为结构化决策任务设计:用户输入上下文、问题及2–20个候选答案,模型从中选择最优项,并为每个选项输出softmax概率。该模型可在普通CPU上实时运行,支持Python 3.11+本地部署,亦兼容BF16 GPU及通过WebGPU在浏览器中运行ONNX版本。官方已宣布将提供托管API,但尚未开放访问。
统一接口支持三类决策任务
Julia 1通过单一API支持三种决策类型:
- choice:从2–20个明确描述的选项中选出一项(适用于分类、路由等场景);
- score:返回符合有序量表(如‘低/中/高’)的预期索引;
- noul(no-yes-unknown-logic):输出某是非陈述为真的概率。
所有结果按调用方指定的选项顺序返回完整softmax分布,且保留原始请求中的元数据(如billing ID)。模型不生成任何自由文本。
架构溯源与极低成本训练
Julia 1以约翰霍普金斯大学CLSP团队的mmBERT-small(1.4亿参数、支持1800+语言的ModernBERT编码器)为基座,复用其编码器与分词器,仅新增专用决策头,并在决策格式标注数据上完成微调。实验室强调,Julia 1并非Qwen模型的微调版本。模型最大上下文长度为8,192 tokens,但公开评测统一采用1,024-token限制。全部训练与实验云GPU开销仅约540雷亚尔(折合104.08美元),FP32权重体积为550.5 MiB。私有训练流水线未开源。下一代Julia 2正基于实验室自研基础架构开发中。
基准表现:多任务领先,但高基数分类存短板
2026年9月24日于H200 BF16平台进行的严格评测显示:Julia 1在‘Typed Decisions’任务中准确率达73.15%(1463/2000),略超Jev参考值(72.70%);AG News(4类)达94%,DAIR Emotion(6类)达86%,均优于Jev;但在Banking77(72类)任务中仅得64%,大幅低于Jev的87%,成为明显短板。MASSIVE多语言评估中,宏观准确率71.50%(52地区),葡萄牙语(pt-PT)和英语(en-US)分别达86.25%与86.75%。所有分类试点均仅使用100个样本。
端侧延迟实测:毫秒级响应,设备适配广泛
实验室公布了多平台实测延迟:Apple M4芯片上单次决策中位延迟为33.15 ms;三星SM-X510平板(ONNX Runtime)为203 ms(峰值内存占用393.1 MB);Intel Core i5-1235U上AG News任务为107.83 ms,Banking77因需逐层缩小72类候选而升至3713.54 ms。官方称其在i5笔记本上分类速度为Jev的5倍,但需注意:该对比基于Jev作为法国调用的托管服务,非同构环境,不可直接对标。
对比竞品:开源、轻量、CPU友好
与TypeSafe的Jev及Fastino的GLiNER2.5 Multi相比,Julia 1核心优势在于完全开源(Apache 2.0)、本地CPU可运行、推理成本极低(计划API定价0.025美元/百万token)。在AG News与DAIR Emotion任务中均领先二者,在Banking77上虽弱于Jev但强于GLiNER2.5(61%)。其最大选项数为20(可通过Router扩展),而Jev支持最多255选项。
明确能力边界与使用建议
Julia 1仅对用户提供的候选答案进行比较排序,无法补全缺失事实、执行代数运算或完成多步推理。Router机制在缩减高基数标签时可能误删正确选项。它不兼容标准Transformers pipeline,Hugging Face官方推理服务亦不支持。实验室明确建议:关键决策务必人工复核,并在真实业务场景中使用自有数据集充分验证。
编者观点:Julia 1代表了一种务实的AI落地路径——放弃通用大模型幻觉,聚焦高确定性、低算力需求的结构化决策场景,对中国中小企业及边缘计算场景的AI轻量化部署具有直接参考价值。