Cloudflare发布多模态决策模型Clef-omni
Cloudflare于2026年10月9日推出开源多模态决策模型Clef-omni,支持单次调用处理文本、图像、音频与视频输入。该模型基于Qwen3-Omni-30B-A3B-Instruct微调,采用MoE架构(30B总参、3B激活),在Workers AI平台提供64K上下文支持,定价0.15美元/百万token。其在意图分类任务中表现领先,但在复杂推理与工作流评估中弱于纯文本优化的Clef。
全新多模态决策模型正式上线
Cloudflare于2026年10月9日正式发布Clef-omni,作为其Clef决策模型家族最新开源成员。该模型是业界首批支持文本、图像、音频、视频四模态统一决策的开放权重模型之一,发布距初代Clef及轻量版Clef-flash仅8天。同期,Cloudflare还下调Clef-flash定价至0.038美元/百万token(低于TypeSafe AI的Jev模型0.042美元),并使托管版Clef整体响应速度提升1.7–2.0倍。
什么是‘决策模型’?
与传统生成式大模型不同,决策模型不输出自由文本,而是依据预设结构化schema返回带概率的类型化答案。开发者提交输入状态(state)与问题定义(如布尔判断、多选、打分),模型即对每个合法选项输出置信度分数。Clef系列目前支持三类问题:noul(真/假)、choice(有限选项选择)和score(连续数值评分),其API协议兼容TypeSafe AI的Jev与SystemOne标准。
架构与运行机制
Clef-omni基于Qwen3-Omni-30B-A3B-Instruct进行后训练,保留其多模态理解主干,移除文本转语音路径。所有输入——包括最多4张图像(PNG/JPEG/WebP)、4段音频(WAV/MP3,单段≤300秒)、2段视频(MP4/WebM,单段≤60秒、2帧/秒采样)——被同步编码为单一序列,经一次prefill完成联合建模。模型采用冻结主干+LoRA适配器微调策略,损失函数融合标签平滑交叉熵与Brier分数校准,确保输出概率分布的可靠性。实测在Workers AI上,文本决策中位延迟约130ms,图像约150ms,一段21秒带声视频综合评分耗时约1.5秒。
性能表现:优势与短板并存
在Cloudflare自建Decision Index基准测试中,Clef-omni在意图识别任务上全面领先:BANKING77达94.8 macro-F1,CLINC150+OOS达97.7 macro-F1(四模型最高),Amazon ESCI达57.8。但在其他场景表现分化明显:家用电器指令准确率69.3%,显著低于Clef-flash的97.73%;When2Call任务准确率63.3%,亦落后Jev的80.97%。在TypeSafe AI发布的5项工作流评估指标中,Clef-omni全部低于原版Clef。其最弱项为POP909-CL(2.6%准确率)与GPQA Diamond(47.4分),远逊Jev的78.3分。
关键参数与对比
Clef-omni为30B总参数、3B激活参数的稀疏MoE模型,Apache-2.0许可,托管上下文长度64,000 token;Clef为27B稠密模型,Clef-flash为9B稠密模型,Jev参数未公开。四者均支持文本与视觉输入,但仅Clef-omni原生支持音频与视频。在输入成本上,Clef-omni为0.15美元/百万token,Clef-flash最低(0.038美元),Jev为0.042美元。所有基准数据均来自Cloudflare官方公告,未经第三方独立验证。
服务性能优化同步落地
除新模型外,Cloudflare将托管版Clef迁移至SGLang推理框架(v0.5.22起支持),未更新模型权重。实测显示:在约800 token输入下,中位延迟由262ms降至152ms(1.7倍加速);3400 token下由616ms降至305ms(2.0倍);16,000 token下由2721ms降至1635ms。提速覆盖全量上下文区间,显著降低实时决策链路开销。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →