Perplexity发布pplx-embed-v2-context-9b-preview上下文嵌入模型

上下文感知嵌入：突破传统RAG的段落孤岛

Perplexity Research与基础设施初创公司turbopuffer共同发布了pplx-embed-v2-context-9b-preview——一款专为检索增强生成（RAG）管道设计的新型上下文嵌入模型。其核心创新在于：每个文本块（chunk）的嵌入并非孤立生成，而是在整篇文档上下文可见的前提下完成编码。这意味着模型能感知跨块依赖关系，例如某处定义、标题或实体可能位于其他块中，从而缓解传统RAG因机械分块导致的信息割裂问题。

训练范式革新：从‘黄金段落’到‘可验证答案’

传统RAG嵌入模型训练通常采用二元标注方式：对每个查询，仅标记一个‘黄金段落’为正样本，其余所有段落（包括承载关键推理依据或验证信息的句子）一律视为负样本。Perplexity指出该方法存在三重局限：信号过于粗糙；大模型人工标注成本随数据规模线性攀升；且标注结果高度绑定特定分块策略，泛化性差。

pplx-embed-v2的训练摒弃了这一范式。其教师模型是Perplexity自研的‘查询感知上下文压缩模型’，能联合阅读查询与全文，并为每个token打分。在此基础上，模型计算各块内Top-n token得分均值作为‘块相关性’，再经温度缩放softmax生成软目标分布（仅限正样本文档内的块，其余文档块得分为零）。训练损失包含两部分：一是前向KL散度，用于蒸馏教师与学生在块级分布上的差异；二是受ColBERT MaxSim启发的文档级InfoNCE损失，将整篇文档的表征定义为其最优块表征。

工程实现：灵活、高效、轻量

为提升鲁棒性，训练过程中每批次随机采样一种分块策略；块间以可学习的<|chunk_sep|>标记分隔，并经均值池化聚合。教师模型仅参与训练，不增加推理延迟或存储开销。该模型基于Perplexity内部90亿参数ColBERT检索模型初始化，通过线性投影输出2048维嵌入向量，并通过Matryoshka训练同步支持1024维精简版本。量化感知训练（QAT）使其原生支持int8精度嵌入，显著降低部署资源需求。本次发布为多个检查点融合的‘模型汤’（model soup），训练数据覆盖超50种语言、约430个数据集，且明确排除了ConTEB数据。

开源与可用性说明

pplx-embed-v2-context-9b-preview已作为预览版在Hugging Face平台开源，采用MIT许可证，支持用户自托管部署。加载需使用transformers库≥5.4.0版本，并启用trust_remote_code=True参数。官方强调，当前权重与接口尚属预览阶段，后续可能在无向后兼容保障前提下调整。该模型暂未集成至Perplexity官方API服务中，亦未开放商用授权路径。

编者观点

该模型凸显RAG技术正从‘粗粒度段落匹配’迈向‘细粒度证据链建模’，对中国企业构建高可信AI应用具有直接参考价值：在金融、法律、医疗等强证据依赖场景，能否准确召回并关联支撑性上下文，已成为区分AI系统实用性的关键分水岭。