谷歌为Gemini Flash推出智能体式视频理解

视频理解的范式转变：从静态吞吐到智能体式导航

视频长期是AI推理中最昂贵的模态。过去，Gemini模型处理一段90分钟讲座时，无论用户提问是‘总结内容’还是‘演讲者何时切换至定价页幻灯片’，均需以固定1帧/秒速率全量摄入整个时间线。这种单次通读（static processing）设计迫使开发者在两种低效方案间权衡：要么为完整上下文支付高昂token成本，要么预分块（pre-chunk）视频而冒丢失关键细节的风险。

核心机制：内置循环+原生工具调用

此次升级将静态处理替换为「智能体式处理」（agentic processing）——模型不再被动接收整段视频，而是主动决策：观看哪些片段、以何种帧率采样、调用视觉/音频/转录文本哪种模态。其本质是一个由模型自身推理驱动的内部循环：Gemini自动调用原生视频工具进行搜索、扫描与片段检查，仅按提示需求加载必要数据。此前开发者虽可手动编排类似流程，但需承担大量工程开销；本次更新的关键在于将该循环内置于模型运行时，显著降低开发门槛。

性能与适用性实测结果

据谷歌内部评估，搭载智能体式视频理解的Gemini 3.7 Flash模型，在视频分析任务的准确率-成本帕累托前沿（Pareto frontier）上表现最优。效率增益集中在长视频场景，涵盖10分钟教程至数小时录制内容。官方数据显示：视频token消耗最多减少88%，推理成本最多下降66%，在标准视频基准测试中准确率最高提升7%。

API集成与计费方式

该功能通过Gemini API在Google AI Studio及Gemini Enterprise Agent Platform中提供，支持文件上传与公开YouTube URL。启用方式极为简洁：仅需在视频输入对象中添加`"processing": "agentic"`字段。同一请求中可混合模式——对长讲座启用agentic，对短片段保留static。API响应新增两类步骤：`processing_call`（模型发起片段/转录请求）与`processing_result`（加载完成），二者与`thought`步骤交错出现，并位于最终输出前，便于前端实现实时进度追踪。Token计费亦相应拆分：导航推理消耗计入`total_thought_tokens`，按需加载的帧/音频/文本则计入`total_tool_use_tokens`。

重要限制与适用边界

该功能目前仅作为托管API服务发布，无开源权重，不可自托管。支持模型包括Gemini 3.8、3.7、3.6 Flash及3.5 Flash-Lite。值得注意的是，静态处理在5分钟以内短视频及需逐帧精度分析的场景中仍具优势。所有费用均按标准Gemini API token定价结算，无额外功能附加费。

编者观点

对中国企业而言，这一进展凸显了AI视频理解正从“暴力吞吐”转向“目标驱动”的工程范式；但其纯云服务路径也提醒国内厂商：在算力成本敏感、合规要求严格的垂直场景中，具备可控推理链路与本地化部署能力的视频智能体技术栈，或将构成差异化竞争壁垒。