谷歌发布ToolGrad:答案优先框架工具调用数据生成通过率达99.8%
谷歌联合东京大学等机构推出ToolGrad框架,颠覆传统‘查询优先’范式,改为先执行验证工具链、再生成匹配用户查询。在ToolBench基准上,其数据生成通过率从63.8%跃升至99.8%,单样本工具调用链长度提升至3.4步。基于仅500条样本微调的Gemma-3-12B模型,在伯克利函数调用榜单(BFCL)中达83.1分,超越教师模型Gemini 2.5 Flash-Lite及多个开源竞品。
答案优先:重构工具调用数据生成范式
训练大语言模型可靠调用外部工具,核心依赖高质量配对数据——即用户查询与对应正确工具调用链的精准匹配。但传统方法长期受限于低效与高成本。谷歌研究院联合东京大学、理化学研究所(RIKEN AIP)与东北大学提出全新框架ToolGrad,其核心创新在于彻底逆转生成流程:先构建经实际API执行验证的工具链,再据此生成自然语言查询,而非沿袭‘先有查询、再搜路径’的老路。
四模块闭环:高效生成可验证样本
ToolGrad通过四个模块构成的迭代循环,自动化构建高质量样本:
- API提议器(API Proposer):从采样API池中筛选出可扩展当前工作流的若干候选接口;
- API执行器(API Executors):并行调用这些候选API,生成详尽执行报告;
- API选择器(API Selector):基于报告评估效果,择优选取一个成功调用,追加至工作流;其文本化反馈即为‘方向梯度’;
- LLM更新器(LLM Updater):依据新增API步骤,一次性重写用户查询与AI响应,确保语义一致。
默认配置下,每条工具链经10轮迭代、覆盖50个采样API,最终产出一个完整样本:含自然语言查询、经执行验证的工具调用链及最终响应。
性能跃升:从低通过率到接近完美
研究团队在包含1.6万+真实API的ToolBench数据库上对比ToolGrad与传统DFS(深度优先搜索)驱动的ToolBench/ToolACE方法。结果显示:
- 数据生成通过率从63.8%飙升至99.8%;
- 每样本平均真实工具调用数从2.1步增至3.4步,表明生成链更长、任务更复杂;
- 每样本工具探索步骤从34.3步降至20.0步,显著减少冗余计算;
- LLM调用次数微降(64.5→63.9),0.2%失败案例源于10轮内所有候选API均无有效响应,最终保存为空样本。
小样本大效果:Gemma-3在BFCL榜单逼近顶尖闭源模型
团队使用Gemini 2.5 Flash-Lite构建了500样本的ToolGrad-500数据集,并以此对Gemma-3系列(1B/4B/12B)进行后训练。评测采用伯克利函数调用榜单(BFCL),其工具集与ToolBench完全不重合,属严格‘零样本迁移’测试。结果表明:
- 所有参数规模模型经ToolGrad-500微调后,工具调用得分均显著提升;
- Gemma-3-12B达83.1分,紧随Gemini 2.5 Pro(83.2)、Claude 4.5 Opus(82.8),大幅领先GPT-5(74.4);
- 值得注意的是,该12B学生模型反超其教师模型Gemini 2.5 Flash-Lite,亦领先ToolACE、Hammer-2.1-7B等开源工具调用专家模型。
全部实验基于vLLM Docker镜像,在单块NVIDIA A100 40GB GPU上完成验证。
开源即用:全栈开放支持快速复现
ToolGrad代码遵循Apache-2.0协议开源,ToolGrad-500数据集及Gemma-3-1B/4B/12B微调模型均已发布至Hugging Face;配套PyPI包支持便捷集成。官方复现脚本兼容BFCL V1/V2,经定制化分支优化,降低部署门槛。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →