基于自监督视觉 Transformer 与弱标签的组织病理学图像分类
计算机视觉与模式识别
2023-04-19 v2 机器学习
摘要
全切片图像（WSI）分析是一种促进组织样本癌症诊断的有力方法。该诊断的自动化带来诸多问题，最显著的是由巨大图像分辨率和有限标注所引起。WSI 通常呈现 100Kx100K 像素的分辨率。在 WSI 上以像素级标注癌区域极其耗费人力且需要高水平专家知识。多示例学习（MIL）缓解了对于昂贵像素级标注的需求。在 MIL 中，学习基于切片级标签进行，由病理学家提供切片是否包含癌组织的信息。在此，我们提出 Self-ViT-MIL，一种基于切片级标注对癌区域进行分类与定位的新方法，消除了对像素级标注训练数据的需求。Self-ViT-MIL 在以自监督设定进行预训练，以不依赖任何标签学习丰富特征表示。近期的 Vision Transformer（ViT）架构构建了 Self-ViT-MIL 的特征提取器。为定位癌区域，采用了具有全局注意力的 MIL 聚合器。据我们所知，Self-ViT-MIL 是首个在基于 MIL 的 WSI 分析任务中引入自监督 ViT 的方法。我们在常用的 Camelyon16 数据集上展示了方法的有效性。Self-ViT-MIL 在准确率和曲线下面积（AUC）方面超越了现有最先进的基于 MIL 的方法。
引用
@article{arxiv.2210.09021,
title = {Histopathological Image Classification based on Self-Supervised Vision Transformer and Weak Labels},
author = {Ahmet Gokberk Gul and Oezdemir Cetin and Christoph Reich and Tim Prangemeier and Nadine Flinner and Heinz Koeppl},
journal= {arXiv preprint arXiv:2210.09021},
year = {2023}
}