病理学切片表示学习的多 stain 预训练
图像与视频处理
2024-08-07 v1 人工智能
计算机视觉与模式识别
摘要
开发能够学习 H&E 巨图全切片图像 (WSI) 通用且可迁移表示的自监督学习 (SSL) 模型在计算病理学中日益增长。这些模型有潜在推进关键任务如少样分类、切片检索和患者分层。现有切片表示学习方法通常通过对齐切片的两种不同增强 (或视图) 扩展 SSL 原则从小图像 (如 224x224 补丁) 到整个切片，但所得表示受限于视图的临床和生物学多样性的限制。相反，我们假设可用于不同视图的多标记染色切片，如免疫组织化学，可形成丰富且与任务无关的训练信号。为此，我们引入 Madeleine，一种用于切片表示学习的多模态预训练策略。Madeleine 在乳腺癌样本 (N=4,211 张跨五种染色的 WSIs) 和肾移植样本 (N=12,070 张跨四种染色的 WSIs) 的大型队列上，采用双全局-局部跨 stain 对齐目标进行训练。我们在 Madeleine 学习的切片表示质量上进行了各种下游评估，从形态学和分子分类到预后预测，涵盖 21 项任务，使用来自多个医疗中心的 7,299 张 WSIs。代码已在 https://github.com/mahmoodlab/MADELEINE 提供。
引用
@article{arxiv.2408.02859,
title = {Multistain Pretraining for Slide Representation Learning in Pathology},
author = {Guillaume Jaume and Anurag Vaidya and Andrew Zhang and Andrew H. Song and Richard J. Chen and Sharifa Sahai and Dandan Mo and Emilio Madrigal and Long Phi Le and Faisal Mahmood},
journal= {arXiv preprint arXiv:2408.02859},
year = {2024}
}
备注
ECCV'24