Yandex推出Sona：单模型生成式推荐系统取代多级推荐流水线

单一生成式模型取代整套推荐级联

主流生产级推荐系统普遍采用多阶段级联架构：候选生成器输出初始池，经预排序模块粗筛后，再由重参数化、高复杂度的精排模型（依赖数百个人工设计特征）最终排序。Yandex发布的Sona技术报告提出颠覆性设计——将候选生成与排序统一于一个生成式AI模型中。在为期七天的智能音箱线上A/B测试中，Sona以单个服务化Transformer模型，完整替代了原有系统中超过15个候选生成器、预排序模块及精排模块。

解决级联架构的根本缺陷

级联结构本质是将单一推荐决策拆解为多个独立优化目标：各阶段模型仅基于上游传递的有限子集进行局部优化，导致信息损失与目标偏移。此前Yandex Music界面的推荐栈依赖数百维特征，包括其早期推荐Transformer Argus 输出的信号。Sona则围绕统一的用户表征展开：编码器对用户历史行为仅做一次读取；解码器生成候选；排序模块基于同一编码器状态对候选打分。整个流程摒弃所有人工特征工程，输入仅为日志事件字段（如音轨ID、艺人ID、播放时长、点赞、播放进度、设备标识）及学习得到的语义ID（Semantic ID）。

三大核心技术组件

语义分词器：沿用Rajput等人提出的语义ID范式，每首音轨被编码为3个离散码元组成的元组。一个冻结的多模态大语言模型（处理前90秒梅尔频谱图、标题、艺人及标签）以仅prefill模式运行；随后通过4层精调Transformer，利用InfoNCE损失对协同行为数据对进行对齐；最终经残差K均值量化，生成3个各含32,000项的码本。该方案在Recall@1000指标上超越CLMR音频基线（0.8111 → 0.8524）。

带历史压缩的编码器：Sona可建模最多8,192条历史交互事件。为控制计算开销，编码器采用非均匀深度分配：最近2,048条事件使用7层自注意力；更早事件仅经交叉注意力与1层全历史层处理。实验表明，该设计在推理成本降低约50%的同时，保留了接近全注意力的质量。

解码器与排序模块：2层解码器通过约束宽度为1,024的束搜索生成语义ID元组，目录Trie树实时阻断非法前缀；每个元组映射至所有共享该ID的音轨。排序模块由4层交叉注意力层构成，基于共享编码器记忆对候选音轨打分。

滚动蒸馏训练：不部署的教师模型

排序模块的知识来源于一个冻结的教师排序器——一个0.6B参数、同样无手工特征的Transformer。该教师模型经两阶段训练：先以一年用户参与数据做下一物品预测预训练，再进行多头排序微调。去除预训练会使加权对准确率从0.6215降至0.6153。团队将其蒸馏方法命名为“Rollout Distillation”：训练中，当前解码器生成束候选，教师模型联合日志曝光样本对其打分，排序模块以平均绝对误差回归这些分数。联合损失函数包含下一物品预测损失、滚动蒸馏损失与曝光损失，二者共同更新共享编码器。服务时教师模型完全移除；训练保持在线——事件按15分钟窗口聚合成会话，送入GPU训练器，新权重每10分钟同步至服务端。端到端延迟中位数为45分钟，p99为60分钟；服务部署于NVIDIA Triton推理服务器，启用CUDA图，模型FLOPs利用率达41%。

线上A/B测试结果

最终实验在15%随机抽样的智能音箱用户中持续7天。所有指标提升均具统计显著性（相较基线）：活跃用户数+4.53%，总收听时长+6.30%，点赞数+11.42%，“重播”指令+17.99%，深度参与用户数+7.37%。这些增益叠加于此前Argus等迭代成果之上；仅就活跃用户指标而言，Sona的提升幅度（+4.53%）达Argus此前贡献（+1.93%）的2.35倍。

与OneRec、HSTU的差异化定位

Sona并非首个投入生产的端到端生成式推荐器：快手OneRec已上线单编码器-解码器模型；Meta的HSTU生成式推荐器于2024年将推荐重构为用户行为序列的逐项转导。Sona的独特价值在于三者合一：完整替代传统级联架构、彻底消除人工特征工程、采用经线上验证的滚动蒸馏排序模块。