阿里通义千问发布Qwen3.8-Omni-Flash:首个多模态智能体模型
阿里巴巴通义实验室正式发布Qwen3.8-Omni-Flash,其首个以智能体(Agentic)能力为核心的原生多模态大模型,支持文本、图像、音频、视频输入,输出纯文本。该模型具备100万token上下文窗口,集成感知—规划—工具调用—结果生成的端到端工作流,已上线QwenCloud等平台提供API服务,暂未开源权重。
首个面向智能体范式的多模态原生模型
阿里巴巴通义千问团队于2026年9月正式发布Qwen3.8-Omni-Flash,宣称这是其首个围绕智能体(Agentic)能力构建的原生多模态模型。该模型统一处理文本、图像、音频与视频输入,输出为纯文本;其核心突破在于将音视频理解、多步推理与工具调用能力深度内嵌于单一模型架构中,形成「理解内容→规划任务→调用工具→交付结果」的闭环工作流。
架构与部署:基于Qwen3.8-Flash-Next,API即开即用
Qwen3.8-Omni-Flash构建于2026年8月已开源权重的Qwen3.8-Flash-Next基础架构之上。其上下文窗口达100万token(QwenCloud标注最大输入991K、最大输出131K,最大推理长度262K)。模型默认启用深度思考(reasoning_effort设为xhigh),亦可关闭。API同时兼容DashScope与OpenAI协议,支持Chat Completions、Responses API、函数调用、网络搜索、结构化输出、上下文缓存及批量请求。当前仅提供托管API服务,上线平台包括QwenCloud、阿里云Model Studio与Qwen Studio,尚未宣布开放模型权重,因此不支持本地部署。
智能体式长视频理解:聚焦关键片段,显著降本增效
针对传统视频模型需顺序遍历整段视频的低效问题,Qwen研究团队提出「问题驱动的粗粒度—细粒度证据采集」机制:模型从用户提问出发,自主决定观看/收听哪些片段,并通过多轮迭代聚焦关键区域,将计算资源与token消耗精准投向高价值内容。在OmniVideoBench基准测试中,该方法使准确率从63.4提升至67.8,token用量由145,736降至79,117,降幅达45.7%。
综合性能:多项基准大幅领先前代,对标Gemini 3.8 Flash
Qwen官方公布的29项评测平均分较Qwen3.5-Omni-Plus提升超25%。其中WildClawBench-MM提升36.5分,AgenticVBench提升22.3分,UniClawBench达69.6分,LongAudioSpan与OmniVideoBench分别提升8.3和9.6分,OmniCap-IF的CSR与ISR指标提升8.5和14.1分。团队称其音视频综合性能接近Gemini 3.8 Flash,音频单项表现更优;X平台总结其在WildClawBench-MM与UniClawBench上的平均提升为+19.5分。
成本与接入:音视频输入成本骤降,六地可用
QwenCloud定价为每百万输入token 0.15美元、输出token 0.47美元,隐式缓存命中成本为0.016美元/百万token。相比Qwen3.5-Omni-Plus,音频输入每小时成本降低超98%,音视频输入每小时成本降低超93%,视频输入token消耗减少约89%。Model Studio文档明确支持:视频文件上限2小时/2GB(URL方式)、音频上限3小时、支持113种语言及方言音频输入、视频采样率稳定支持至15fps、支持双声道立体声与四声道FOA空间音频。服务已覆盖北京、新加坡、香港、东京、法兰克福与弗吉尼亚六大区域。调用示例使用标准OpenAI SDK即可完成。
开源配套:Qwen-MM-Plugins与Qwen-Live Harness赋能工具链
因模型本身仅输出文本,音视频处理依赖外部工具。通义团队同步开源两大项目:Apache-2.0许可的Qwen-MM-Plugins,定位为「让任意智能体具备原生多模态能力」,以「Skill + 可选MCP服务器」形式模块化封装能力,支持Claude Code、CodeBuddy、Codex、Qoder、OpenClaw、Qwen Code及Gemini CLI等主流开发环境;另一项目Qwen-Live Harness则聚焦实时流式多模态交互。首批演示能力包括:omni-memory(构建长视频音视频记忆)、omni-video2note(将教程视频转为图文PDF)、omni-chatcut(支持音乐转MV、电影解说、说话人保真视频翻译)等。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →