ScoreNet：面向基于 Transformer 的组织病理图像分类的非均匀注意力与增强学习
计算机视觉与模式识别
2022-07-19 v3
摘要
数字病理学的发展受限于高分辨率图像以及穷尽式局部标注的高昂成本。常用的病理图像分类范式是基于补丁的处理，通常结合多示例学习（MIL）来聚合局部补丁级表示以产生图像级预测。然而，诊断相关区域可能仅占整个组织的一小部分，且当前基于 MIL 的方法常均匀处理图像，忽略了补丁间的交互。为缓解这些问题，我们提出 ScoreNet，一种新型高效 transformer，其利用可微分推荐阶段提取有判别力的图像区域并相应分配计算资源。所提出的 transformer 以高效计算代价利用少量动态推荐的高分辨率区域的局部与全局注意力。我们进一步引入一种新颖的混合数据增强方法，即 ScoreMix，通过利用图像语义分布引导数据混合并产生连贯的样本-标签对。ScoreMix 极其简单，并缓解了先前增强方法假设均匀语义分布且易错标样本的缺陷。在三个苏木精-伊红（H&E）乳腺癌症组织学数据集上的充分实验与消融研究验证了我们的方法优于现有方法，包括基于 transformer 的肿瘤感兴趣区域（TRoIs）分类模型。配备所提 ScoreMix 增强的 ScoreNet 展现出更好的泛化能力，并仅用 50% 的数据即相比其他混合增强变体取得了新的最先进（SOTA）结果。最后，ScoreNet 高效且优于 SOTA 高效 transformer，即 TransPath 和 SwinTransformer。
引用
@article{arxiv.2202.07570,
title = {ScoreNet: Learning Non-Uniform Attention and Augmentation for Transformer-Based Histopathological Image Classification},
author = {Thomas Stegmüller and Behzad Bozorgtabar and Antoine Spahr and Jean-Philippe Thiran},
journal= {arXiv preprint arXiv:2202.07570},
year = {2022}
}
备注
19 pages, 7 figures