基于多重检测的多示例学习网络用于全切片图像分类
计算机视觉与模式识别
2022-09-02 v3
摘要
多示例学习（MIL）是一种用于诊断病理学中对全切片图像（WSIs）进行分类的有力方法。WSI 分类中 MIL 的一个基本挑战是发现触发包标签的\textit{关键实例}。然而，先前方法主要基于独立同分布假设（\textit{i.i.d}）设计，忽略了实例间的相关性或多发性肿瘤的异质性。本文提出一种新颖的基于多重检测的多示例学习（MDMIL）以解决上述问题。具体地，MDMIL 由内部查询生成模块（IQGM）与多重检测模块（MDM）构成，并在训练中以基于记忆的对比损失辅助。首先，IQGM 给出实例概率，并在分布分析后聚合高可靠特征，为后续 MDM 生成内部查询（IQ）。其次，MDM 中的多重检测交叉注意力（MDCA）与多头自注意力（MHSA）协同生成 WSI 的最终表示。此过程中，IQ 与可训练变分查询（VQ）成功建立实例间联系，并显著提升模型对异质性肿瘤的鲁棒性。最后，为进一步加强特征空间约束并稳定训练过程，我们采用基于记忆的对比损失，其即便每次迭代仅以单样本作为输入也适用于 WSI 分类。我们在三个计算病理学数据集（如 CAMELYON16、TCGA-NSCLC 与 TCGA-RCC 数据集）上实验。更优的准确率与 AUC 证明了我们所提 MDMIL 优于其他最先进方法。
引用
@article{arxiv.2208.03526,
title = {Multiplex-detection Based Multiple Instance Learning Network for Whole Slide Image Classification},
author = {Zhikang Wang and Yue Bi and Tong Pan and Xiaoyu Wang and Chris Bain and Richard Bassed and Seiya Imoto and Jianhua Yao and Jiangning Song},
journal= {arXiv preprint arXiv:2208.03526},
year = {2022}
}