PRISM：面向组织片级病理学的多模态生成式基础模型
图像与视频处理
2024-05-24 v2 计算机视觉与模式识别
机器学习
摘要
计算病理学中的基础模型承诺能够推动新的临床决策支持系统和精密医学模型的开发。然而，目前大多数临床分析都在整个组织片图像的一个或多个级别上进行，而现有的基础模型则将处理整个组织片图像中包含的成千上万的图像瓷砖。要求网络在大量瓷砖的多个整个组织片图像中聚合信息的训练限制了这些模型的影响。在本工作中，我们提出了针对H&E染色组织病理学的组织片级基础模型PRISM，基于Virchow瓷砖嵌入，并利用临床报告文本进行预训练。使用瓷砖嵌入，PRISM能够生成具有临床报告生成能力的组织片级嵌入，实现多种用途。使用文本提示，PRISM在零样本癌症检测和亚型分类性能接近并超过监督式聚合模型。使用组织片嵌入和线性分类器，PRISM超越了监督式聚合模型。此外，我们展示了针对PRISM组织片编码器的微调可实现标签高效训练，用于生物标志物预测，这是通常受训练数据稀缺的任务；一个使用PRISM初始化的聚合器，在仅使用10%训练数据的情形下即可超过使用全部数据的监督基线。
引用
@article{arxiv.2405.10254,
title = {PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology},
author = {George Shaikovski and Adam Casson and Kristen Severson and Eric Zimmermann and Yi Kan Wang and Jeremy D. Kunz and Juan A. Retamero and Gerard Oakley and David Klimstra and Christopher Kanan and Matthew Hanna and Michal Zelechowski and Julian Viret and Neil Tenenholtz and James Hall and Nicolo Fusi and Razik Yousfi and Peter Hamilton and William A. Moye and Eugene Vorontsov and Siqi Liu and Thomas J. Fuchs},
journal= {arXiv preprint arXiv:2405.10254},
year = {2024}
}