可证明的随机池化多示例深度AUC最大化
机器学习
2023-06-07 v4 人工智能
摘要
本文考虑深度AUC最大化（DAM）在多示例学习（MIL）中的一种新颖应用，其中单个类标签被赋予一个示例包（例如，一名患者的CT扫描的多个2D切片）。我们解决了MIL在DAM背景下一个被忽视但不可忽略的计算挑战，即包尺寸过大而无法载入GPU内存进行反向传播，而这是MIL标准池化方法所必需的。为应对该挑战，我们基于随机优化的思想，通过将池化预测上的损失函数表述为一个多级复合函数，提出了方差缩减的随机池化方法。通过综合随机复合优化与非凸极小极大优化技术，我们提出了一种统一且可证明的多示例DAM（MIDAM）算法，采用随机平滑最大池化或随机基于注意力的池化，其仅为每个包采样少量示例来计算随机梯度估计器并更新模型参数。我们建立了所提MIDAM算法与最先进DAM算法相似的收敛速率。我们在常规MIL数据集与医学数据集上的大量实验证明了MIDAM算法的优越性。
引用
@article{arxiv.2305.08040,
title = {Provable Multi-instance Deep AUC Maximization with Stochastic Pooling},
author = {Dixian Zhu and Bokun Wang and Zhi Chen and Yaxing Wang and Milan Sonka and Xiaodong Wu and Tianbao Yang},
journal= {arXiv preprint arXiv:2305.08040},
year = {2023}
}
备注
To appear in ICML2023, 23 pages