PathoDuet：用于 H&E 与 IHC 染色病理切片分析的基础模型
计算机视觉与模式识别
2024-08-07 v2 人工智能
摘要
海量的数字化组织病理学数据为通过自监督学习方法开发病理学基础模型展现了广阔前景。以这些方法预训练的基础模型可作为下游任务的良好基础。然而，自然图像与组织病理学图像之间的差异阻碍了现有方法的直接应用。在本工作中，我们提出了 PathoDuet，一系列在组织病理学图像上预训练的模型，以及一种新的组织病理学自监督学习框架。该框架以新引入的预训练 token 和后续任务提升器为特征，以显式利用图像之间的特定关系，如多重放大倍数和多重染色。基于此，设计了两个预训练任务：跨尺度定位与跨染色迁移，分别用于在苏木精-伊红（H&E）图像上预训练模型并将模型迁移至免疫组织化学（IHC）图像。为验证模型的有效性，我们在多种下游任务上评估了性能，包括 H&E 领域的块级结直肠癌亚型分类和全切片图像（WSI）级分类，以及 IHC 领域的 IHC 标记物表达水平预测、肿瘤识别和切片级定性分析。实验结果表明，我们的模型在大多数任务上表现优越，且所提预训练任务行之有效。代码和模型可在 https://github.com/openmedlab/PathoDuet 获取。
引用
@article{arxiv.2312.09894,
title = {PathoDuet: Foundation Models for Pathological Slide Analysis of H&E and IHC Stains},
author = {Shengyi Hua and Fang Yan and Tianle Shen and Lei Ma and Xiaofan Zhang},
journal= {arXiv preprint arXiv:2312.09894},
year = {2024}
}
备注
Accepted for Medical Image Analysis