分子驱动的肿瘤病理学基础模型
计算机视觉与模式识别
2025-01-29 v1 人工智能
摘要
基础模型正在重塑计算病理学，通过实现迁移学习，即在大型数据集上预训练的模型可以适应下游的诊断、预后和治疗反应任务。尽管取得了这些进展，基础模型在无需额外训练的情况下编码整个千兆像素全切片图像的能力仍然有限，并且通常缺乏互补的多模态数据。在这里，我们介绍了Threads，一个切片级别的基础模型，能够生成任意大小的全切片图像的通用表示。Threads使用多模态学习方法在47,171个苏木精-伊红（H&E）染色组织切片及其对应的基因组和转录组图谱的多样化队列上进行预训练——这是迄今为止用于基础模型开发的最大此类配对数据集。这种独特的训练范式使Threads能够捕获组织潜在的分子组成，生成适用于广泛下游任务的强大表示。在涵盖54项肿瘤学任务（包括临床亚型分类、分级、突变预测、免疫组织化学状态确定、治疗反应预测和生存预测）的广泛基准测试中，Threads在所有基线上表现出色，同时展现出卓越的泛化能力和标签效率。它特别适合预测罕见事件，进一步强调了其临床实用性。我们打算向更广泛的社区公开该模型。
引用
@article{arxiv.2501.16652,
title = {Molecular-driven Foundation Model for Oncologic Pathology},
author = {Anurag Vaidya and Andrew Zhang and Guillaume Jaume and Andrew H. Song and Tong Ding and Sophia J. Wagner and Ming Y. Lu and Paul Doucet and Harry Robertson and Cristina Almagro-Perez and Richard J. Chen and Dina ElHarouni and Georges Ayoub and Connor Bossi and Keith L. Ligon and Georg Gerber and Long Phi Le and Faisal Mahmood},
journal= {arXiv preprint arXiv:2501.16652},
year = {2025}
}