像病理学家一样诊断：基于Transformer的分层注意力引导多示例学习用于全切片图像分类
计算机视觉与模式识别
2023-07-18 v2 人工智能
摘要
多示例学习（MIL）和transformers在组织病理学全切片图像（WSI）分类中日益流行。然而，与人类病理学家在不同放大倍数下选择性观察组织病理学组织的特定区域不同，大多数方法并未分层且注意力式地结合WSI的多分辨率信息，从而导致对WSI及其他分辨率信息的关注缺失。为解决此问题，我们提出了一种分层注意力引导多示例学习框架，以充分利用WSI。该框架能够动态且注意力式地发现WSI跨多分辨率的判别性区域。在此框架内，提出了一种集成注意力Transformer以进一步增强transformer性能并获得更整体的WSI（包）表示。该transformer由多个集成注意力模块组成，每个模块是一个transformer层与一个聚合模块的组合，后者基于包中所有实例表示产生包表示。实验结果表明，我们的方法在包括Camelyon16、TCGA-RCC、TCGA-NSCLC及一个内部IMGC数据集的多个数据集上取得了最先进的性能。代码可在 https://github.com/BearCleverProud/HAG-MIL 获取。
引用
@article{arxiv.2301.08125,
title = {Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification},
author = {Conghao Xiong and Hao Chen and Joseph J. Y. Sung and Irwin King},
journal= {arXiv preprint arXiv:2301.08125},
year = {2023}
}
备注
Accepted to IJCAI2023