面向全切片图像分类的注意力挑战多示例学习
计算机视觉与模式识别
2024-07-08 v4
摘要
在多示例学习（MIL）方法用于全切片图像（WSI）分类的应用中，注意力机制往往聚焦于与过拟合密切相关的部分判别性实例子集。为缓解过拟合，我们提出注意力挑战多示例学习（ACMIL）。ACMIL 基于针对注意力值集中的独立分析结合了两种技术。首先，实例特征的 UMAP 揭示了判别性实例间的多种模式，而现有注意力机制仅能捕捉其中一部分。为此，我们引入多分支注意力（MBA）以利用多个注意力分支捕捉更多判别性实例。其次，对 Top-K 注意力分数累积值的考察表明，极少数实例主导了大部分注意力。对此，我们提出随机 Top-K 实例掩码（STKIM），将具有 Top-K 注意力值的部分实例掩码掉，并将其注意力值分配给剩余实例。在三个 WSI 数据集、两种预训练骨干网络上的大量实验结果表明，我们的 ACMIL 优于当前最优方法。此外，通过热力图可视化和 UMAP 可视化，本文充分展示了 ACMIL 在抑制注意力值集中和克服过拟合难题上的有效性。源代码见 \url{https://github.com/dazhangyu123/ACMIL}。
引用
@article{arxiv.2311.07125,
title = {Attention-Challenging Multiple Instance Learning for Whole Slide Image Classification},
author = {Yunlong Zhang and Honglin Li and Yuxuan Sun and Sunyi Zheng and Chenglu Zhu and Lin Yang},
journal= {arXiv preprint arXiv:2311.07125},
year = {2024}
}
备注
Accepted by ECCV2024