中文

DGR-MIL:基于多实例学习中多样化全局表征的全切片图像分类

图像与视频处理 2024-07-08 v1 计算机视觉与模式识别

摘要

多实例学习(MIL)是弱监督学习中强大的方法,常用于组织学全切片图像(WSI)分类中检测肿瘤病灶。然而,现有主流MIL方法关注实例之间的相关性,忽略了实例之间固有的多样性。然而,很少有MIL方法致力于多样性建模,这些方法实证表明性能较差,但计算成本高。为弥合这一差距,我们提出一种基于多样化全局表征(DGR-MIL)的新型MIL聚合方法,通过一组全局向量来建模实例之间的多样性,这些向量作为所有实例的概括。首先,我们将实例相关性转化为实例嵌入与预定义全局向量之间的相似性,通过交叉注意力机制实现。这源于相似的实例嵌入通常会对某一特定全局向量产生更高的相关性。其次,我们提出两种机制来强化全局向量的多样性,以更好地描述整个袋子:(i)正例对齐和(ii)一种新型、高效且在理论上得到保证的多样化学习范式。具体而言,正例对齐模块鼓励全局向量与正例(例如包含肿瘤的WSI中的实例)的中心对齐。为进一步多样化全局表征,我们提出一种基于准导数点过程的新型多样化学习范式。在CAMELYON-16和TCGA-肺癌数据集上,所提模型在SOTA MIL聚合模型之上取得显著的提升。代码已公开于 \url{https://github.com/ChongQingNoSubway/DGR-MIL}。

关键词

引用

@article{arxiv.2407.03575,
  title  = {DGR-MIL: Exploring Diverse Global Representation in Multiple Instance Learning for Whole Slide Image Classification},
  author = {Wenhui Zhu and Xiwen Chen and Peijie Qiu and Aristeidis Sotiras and Abolfazl Razi and Yalin Wang},
  journal= {arXiv preprint arXiv:2407.03575},
  year   = {2024}
}

备注

Accepted to ECCV 2024