PRISM2模型利用临床对话解读病理切片

联合建模：病理图像与临床对话协同训练

PRISM2由Paige和微软联合研发，核心创新在于将全切片图像（WSI）与源自真实病理报告的临床对话数据进行端到端联合建模。模型采用基于Perceiver的切片编码器，同步处理组织图像瓦片（tile）与由GPT-4o转化生成的685,507份纪念斯隆凯特琳癌症中心（MSKCC）病理报告问答对。训练数据覆盖230万张全切片图像，模型最终输出为针对诊断问题的自然语言回答，而非传统分类标签。

两阶段架构：解耦视觉表征与语言理解

PRISM2采用严格分阶段训练策略。第一阶段专注训练切片编码器，目标是将数千个瓦片嵌入（tile embedding）聚合为一个与病理报告语言强相关的单一切片级向量；第二阶段则完全冻结该编码器，仅对语言模型（Phi-3 Mini）进行微调，使其掌握病理报告的语言规范与表达逻辑。值得注意的是，第二阶段仅使用单轮问答对监督，未引入多轮对话历史，因此模型本身不支持交互式追问，需额外工程适配才能实现临床会话功能。

双重嵌入设计：诊断导向与通用表征分离

PRISM2输出两类独立嵌入：基础嵌入（base embedding）直接来自切片编码器，适用于生物标志物预测等非诊断类下游任务；诊断嵌入（diagnostic embedding）则提取自40亿参数语言模型的隐藏状态，且仅在模型同时接收切片潜变量与提示文本后生成。该设计使两类嵌入各司其职——诊断嵌入专为癌症检测与亚型分类优化，而基础嵌入在生存分析、生物标志物预测等偏离诊断分布的任务中表现更优。此外，生存任务还额外引入第三类独立微调嵌入。

性能验证：超越既有模型与临床产品

在前列腺癌与乳腺癌检测基准上，PRISM2达到或超过对应临床级商用产品的平衡准确率；在乳腺淋巴结分类任务中，未经专项训练即超越Paige BLN模型。在泛癌种检测中，诊断嵌入AUC达0.967，显著高于基础嵌入（0.956）、PRISM（0.947）及TITAN（0.931）。罕见癌种检测AUC小幅下降至0.957，论文归因于相关组织类型训练样本稀疏。线性探针评估显示，PRISM2嵌入在所有诊断基准上均未显著劣于先前基础模型（P < 0.05），尤其在训练数据稀缺的组织类型上优势更明显。在生存预测任务中，PRISM2嵌入以0.809一致性指数（C-index）优于从零训练的专用模型（0.773）；基础嵌入即使未经生存任务微调，亦保持强劲表现。在生物标志物预测任务中，基础嵌入平均AUC达0.854，反超诊断嵌入。