PRISM2：通过临床对话解锁多模态通用病理AI
计算机视觉与模式识别
2025-11-04 v2 计算与语言
摘要
计算病理学领域近年来取得的快速进展，得益于基础模型。这些模型正逐渐从编码图像块的特征，转向整片图像的理解，但其临床实用性仍有限。本文提出的 PRISM2，是一种多模态整片级别的基础模型，基于70万例诊断标本-报告配对数据进行训练，目前为史上最大的病理学视觉（230万张整片切片图像）和语言（1400万组问答对）数据集。通过学习临床对话监督信号，PRISM2 将组织学特征与诊断推理的语言相结合，生成支持直接诊断问答和下游任务可迁移嵌入的整片级别表征。无需额外训练，PRISM2的癌症检测性能已匹配或超越临床产品。该模型在其他任务中也保持良好通用性，PRISM2实现了领先性能。最后，以生存预测为例，我们展示了任务特定的微调在大数据集下可超过任务特定模型，从而进一步提升性能。这些结果表明，语言监督的预训练为学习通用病理表征提供了可扩展、临床导向的信号，桥接了人类诊断推理与基础模型性能之间的鸿沟。
引用
@article{arxiv.2506.13063,
title = {PRISM2: Unlocking Multi-Modal General Pathology AI with Clinical Dialogue},
author = {Eugene Vorontsov and George Shaikovski and Adam Casson and Julian Viret and Eric Zimmermann and Neil Tenenholtz and Yi Kan Wang and Jan H. Bernhard and Ran A. Godrich and Juan A. Retamero and Jinru Shia and Mithat Gonen and Martin R. Weiser and David S. Klimstra and Razik Yousfi and Nicolo Fusi and Thomas J. Fuchs and Kristen Severson and Siqi Liu},
journal= {arXiv preprint arXiv:2506.13063},
year = {2025}
}