多实例学习中 Dropout 的有效性如何？
计算机视觉与模式识别
2025-05-21 v2 人工智能
图像与视频处理
机器学习
摘要
多实例学习（Multiple Instance Learning, MIL）是一种受欢迎的弱监督方法，广泛应用于各种应用，尤其是组织学全切片图像（Whole Slide Image, WSI）分类。鉴于WSI的百万像素分辨率，WSI中MIL的应用通常需要采用两阶段训练方案：首先从预训练的主干网络提取特征，然后进行MIL聚合。然而，众所周知，这种次优训练方案会导致主干网络产生“噪声”特征嵌入，同时受限于弱监督，限制了MIL学习丰富且可泛化的特征。然而，最常用的缓解此问题的技术（即Dropout）在MIL中尚未被探索。本文我们经验性地探讨了Dropout在MIL中的有效性。有趣的是，我们观察到在包含噪声攻击的情况下，丢弃包中最重要的前k个实例会导致更好的性能和泛化。基于这一关键观察，我们提出一种新的MIL专用Dropout方法，称为MIL-Dropout，通过系统性地确定要丢弃的哪些实例。在五个MIL基准数据集和两个WSI数据集上的实验表明，MIL-Dropout以可忽略的计算成本提升了当前MIL方法的性能。代码已公开于https://github.com/ChongQingNoSubway/MILDropout。
引用
@article{arxiv.2504.14783,
title = {How Effective Can Dropout Be in Multiple Instance Learning ?},
author = {Wenhui Zhu and Peijie Qiu and Xiwen Chen and Zhangsihao Yang and Aristeidis Sotiras and Abolfazl Razi and Yalin Wang},
journal= {arXiv preprint arXiv:2504.14783},
year = {2025}
}
备注
Accepted by ICML2025