用于病理学的多模态整块切片基础模型
图像与视频处理
2024-12-02 v1 人工智能
计算机视觉与模式识别
机器学习
应用统计
摘要
计算病理学领域近期在基础模型方面的进展通过自监督学习(SSL)将组织病理学区域兴趣(ROI)编码为通用且可迁移的特征表示，从而实现了变革。然而，将这些进展转化为解决针对患者和切片水平的复杂临床挑战仍受限于疾病特定队列中临床数据的有限性，尤其是对于罕见临床情况。我们提出TITAN，一种使用335,645块WSI进行预训练的多模态整块切片基础模型，通过视觉自监督学习和与相应病理报告及423,122个来自多模态生成式AI助手为病理学生成的合成标题进行视觉-语言对齐。无需任何微调或临床标签，TITAN即可提取通用切片表示并生成能够针对资源受限的临床情景（如罕见疾病检索和癌症预后）进行泛化的病理报告。我们在多样化的临床任务上对TITAN进行了评估，发现TITAN在机器学习设置（如线性探测、few-shot 和 zero-shot 分类、罕见癌症检索和跨模态检索以及病理报告生成）中均优于ROI 和切片基础模型。
引用
@article{arxiv.2411.19666,
title = {Multimodal Whole Slide Foundation Model for Pathology},
author = {Tong Ding and Sophia J. Wagner and Andrew H. Song and Richard J. Chen and Ming Y. Lu and Andrew Zhang and Anurag J. Vaidya and Guillaume Jaume and Muhammad Shaban and Ahrong Kim and Drew F. K. Williamson and Bowen Chen and Cristina Almagro-Perez and Paul Doucet and Sharifa Sahai and Chengkuan Chen and Daisuke Komura and Akihiro Kawabe and Shumpei Ishikawa and Georg Gerber and Tingying Peng and Long Phi Le and Faisal Mahmood},
journal= {arXiv preprint arXiv:2411.19666},
year = {2024}
}
备注
The code is accessible at https://github.com/mahmoodlab/TITAN