基于 Transformer 的多层级多示例学习用于全切片图像分类
计算机视觉与模式识别
2023-09-06 v2 机器学习
摘要
全切片图像（WSI）指一种高分辨率扫描组织图像，广泛用于计算机辅助诊断（CAD）。极高的分辨率和区域级标注的有限可用性使得将深度学习方法用于基于 WSI 的数字诊断具有挑战性。近来将多示例学习（MIL）与 Transformer 结合用于 WSI 分析展现出非常有前景的结果。然而，为此弱监督高分辨率图像分析设计有效的 Transformer 是一个未被充分探索但重要的问题。本文中，我们提出一种多层级 MIL（MMIL）方案，通过向 MIL 引入层次化结构，从而能够高效处理涉及大量实例的 MIL 任务。基于 MMIL，我们实例化了 MMIL-Transformer，一种具有窗口化精确自注意力的大规模 MIL 高效 Transformer 模型。为验证其有效性，我们在 WSI 分类任务上进行了一组实验，其中 MMIL-Transformer 相比现有最先进方法展现出更优性能，即在 CAMELYON16 数据集上测试 AUC 为 96.80%、测试准确率为 97.67%，在 TCGA-NSCLC 数据集上测试 AUC 为 99.04%、测试准确率为 94.37%。所有代码和预训练模型可在 https://github.com/hustvl/MMIL-Transformer 获取。
引用
@article{arxiv.2306.05029,
title = {Multi-level Multiple Instance Learning with Transformer for Whole Slide Image Classification},
author = {Ruijie Zhang and Qiaozhe Zhang and Yingzhuang Liu and Hao Xin and Yan Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2306.05029},
year = {2023}
}