Perplexity发布双规模嵌入模型pplx-embed-v2-late

双规模跨模态嵌入模型发布

Perplexity AI近日发布pplx-embed-v2-late，一对基于ColBERT架构的多模态嵌入模型。该系列包含两个参数规模版本：0.6B模型面向低延迟、低成本查询，适用于笔记本电脑或边缘设备；9B模型（Hugging Face页面标注为8B）则专为索引构建阶段的高检索质量设计。两者均可处理文本、图像及PDF页面渲染图（无需OCR），且所有输入类型共享同一嵌入空间。模型已开源至Hugging Face，采用MIT许可证，允许商用；官方托管API接口尚在规划中，暂未上线。

技术规格与部署要求

0.6B模型约有240M活跃文本参数和340M活跃图像参数，输出为128维token向量；9B模型活跃参数约7.4B，同样输出128维token向量——其向量宽度仅为竞品（如nemotron-colembed-vl-8b-v2的4,096维、topk-embed-v1的2,048维）的1/16至1/32。模型权重以FP32格式发布（下载体积翻倍），按bf16精度估算，内存占用分别约为1.2GB（0.6B）和16–18GB（9B）。运行需sentence-transformers ≥ 6.0.0与transformers ≥ 5.4.0，明确支持CUDA GPU（Ampere及以上架构），0.6B版亦验证可在Linux边缘设备部署。

性能表现：优势与局限并存

在Perplexity自测基准中，9B模型以92.4%准确率刷新MADQA（面向代理式PDF问答任务）纪录，领先Mixedbread检索器1.3个百分点，仅略低于Mixedbread Agentic Search（93.4%）；在72项领域文本检索任务（nDCG@10）中，9B以81.3%位居榜首，0.6B达78.0%，小幅落后Gemini Embedding 2。ViDoRe v3图像检索方面，9B得分为65.2%，0.6B为62.3%，均不及腾讯EVIE模型；但值得注意的是，用0.6B模型查询9B索引时，图像检索得分升至63.5%，在同等查询开销下优于纯0.6B方案。最弱单项为ViDoRe v3 Markdown检索（0.6B仅61.2%），但仍为该子项第二高分。所有指标均为Perplexity单方报告，技术白皮书尚未公开。

架构原理与差异化设计

区别于传统稠密模型将整篇文档压缩为单一向量，pplx-embed-v2-late为每个token生成独立的128维向量，检索时采用MaxSim机制：逐个匹配查询token与文档token的最优相似度，再求和。PDF页面直接以图像形式编码，规避OCR误差。两模型均由18B教师模型经LEAF风格的token级知识蒸馏训练而来，该过程确保了跨规模嵌入空间对齐。

应用场景与竞品对比

该模型最适合视觉化文档搜索场景，如PDF、幻灯片及扫描报告的混合检索；典型部署模式为云端用9B建索引、终端用0.6B发起本地查询，兼顾质量与响应速度，也适配具身智能体驱动的RAG系统。横向对比显示：pplx-embed-v2-late是当前唯一明确支持跨尺寸查询且共享嵌入空间的开源方案；在许可上采用宽松MIT协议，而nemotron-colembed-vl-8b-v2为CC-BY-NC-4.0（非商用），Gemini Embedding 2为闭源API服务。

编者观点

对中国企业而言，Perplexity此次发布的轻量化、可端侧部署的多模态嵌入模型，为构建自主可控的文档智能检索基础设施提供了新选项——尤其在政务、金融、法律等重视数据本地化与低延迟响应的垂直领域，0.6B模型有望成为边缘AI落地的关键组件。