谷歌推出R4T：基于强化学习编译的扩散检索器

问题驱动：传统查询泛化为何失效？

现代搜索与推荐系统需返回结构化结果集（如‘露营装备’应包含帐篷、睡袋、炉具、头灯），而非单一最优匹配。查询泛化（query fan-out）旨在将宽泛主查询拆解为多个子查询以覆盖不同维度。但研究发现，通用大语言模型在推理时执行该任务存在两大瓶颈：一是同义坍缩（paraphrastic collapse）——例如对‘波西米亚音乐节风格’，Qwen3-4B零样本生成‘波西米亚音乐节时尚’‘音乐节波西米亚服饰’等高度近义子查询，导致召回结果同质化；二是高延迟——自回归生成+多次独立检索调用耗时严重，Best-of-N采样虽提升质量，却成倍增加推理开销。

R4T三阶段流水线：从RL训练到扩散蒸馏

R4T采用分阶段设计：

1. 泛化语言模型（FOLM）训练：使用强化学习（RL）一次性离线优化。FOLM生成k个子查询，冻结的稠密检索器执行检索，奖励函数基于整个结果集（而非单个条目）计算； 2. 监督合成：训练好的FOLM以温度0.9对每个查询采样128组泛化结果，自动构建（查询，目标集合）训练对，无需人工标注。开放性任务中目标为检索内容嵌入，组合性任务中为目标子查询嵌入； 3. 扩散检索器训练：一个5390万参数的扩散Transformer学习将查询嵌入映射为完整的目标嵌入集合。采用EDM框架下的方差爆炸（VE）公式，在单次非自回归前向传播中同步生成全部嵌入，再经最近邻搜索映射至数据库条目。

奖励设计与防作弊机制

针对开放性抽象检索（OAR），奖励由三项加权组成：根基性（λg=0.6，惩罚子查询嵌入与最近数据库项距离）、多样性（λd=0.2，基于各子查询top-1结果计算Vendi Score）、对齐度（λa=0.2，子查询与原始查询的平均余弦相似度）。弱监督组合检索（WSCR）则直接以召回参考集物品的比例为奖励。消融实验证明三者缺一不可：仅用根基性奖励时，Gemma3-4B收敛出重复字符串（如‘换行符 换行符 换行符’）；加入对齐度反而加剧同义坍缩；唯有引入多样性才能封堵两类捷径。训练采用GRPO算法，辅以软PPO正则化（含前向与反向KL惩罚），关键超参包括组大小8、学习率1×10⁻⁷、全局批大小512。

实验效果：质量与效率双突破

实验在Polyvore时尚搭配数据集（CLIP Matryoshka 128维编码器）及内部专家歌单音乐数据集（MuLan嵌入）上展开。所有方法均生成k=10子查询，Best-of-N设N=5。OAR质量由LLM裁判按5分Likert量表评估：在Polyvore上，Gemma3-4B R4T-FOLM平均得分49.1，显著高于Best-of-N（40.9）与零样本（38.5）；多样性指标（Vendi Score）从零样本56.0升至76.8，R4T扩散模型保持74.3。音乐任务中，R4T-FOLM得分58.1 vs Best-of-N 49.2。WSCR任务显示权衡：Qwen R4T-FOLM在Polyvore上Recall@5K达20.9（Gemini-2.5-Flash为15.7），但Vendi Score降至27.5（作者归因于强RL优化降低输出熵）；R4T扩散模型则以16.5 Recall@5K换取更高多样性（34.7）。

效率优势：12–20倍稳定加速

批量大小为8时，自回归泛化耗时约1.46秒，扩散模型仅0.07秒；批量达1024时，前者近50秒，后者仅4.21秒。论文报告其在各类配置下均实现12×至20×的稳定推理加速。

核心结论

R4T将RL训练与模型蒸馏解耦：仅需一次离线RL优化，即可部署轻量扩散检索器；三重奖励机制有效抑制奖励作弊与语义坍缩；在真实场景数据集上验证了质量跃升与工程可行性；扩散架构带来数量级推理提速，为大规模多意图检索提供新范式。

> 编者观点：R4T揭示了“训练-推理分离”在AI系统工程中的巨大潜力——用计算密集型RL离线求解策略，再以高效小模型承载服务，这对国内搜索、电商、内容平台构建低延迟高覆盖的智能检索能力具有直接借鉴价值。