基于梯度累积的端到端多示例学习
计算机视觉与模式识别
2022-03-09 v1 机器学习
摘要
能够基于弱标签数据学习并提供可解释性，是基于注意力的深度多示例学习（ABMIL）方法在组学病理图像分类中特别流行的主要原因。此类图像数据通常以吉像素级全切片图像（WSI）的形式出现，并被裁剪成较小的块（实例）。然而，数据的庞大规模使得 ABMIL 模型的训练具有挑战性。传统 GPU 无法一次性处理来自一个 WSI 的所有实例。现有方案通过依赖预训练模型、策略性采样或实例选择，或自监督学习来妥协训练。我们提出一种基于梯度累积的训练策略，使得 ABMIL 模型的直接端到端训练得以实现，而不受 GPU 内存限制。我们在 QMNIST 和 Imagenette 上进行实验以研究性能和训练时间，并与传统的耗费内存的基线以及近期基于采样的方法进行比较。这种内存高效的方法虽然较慢，但达到了与耗费内存的基线难以区分的性能。
引用
@article{arxiv.2203.03981,
title = {End-to-end Multiple Instance Learning with Gradient Accumulation},
author = {Axel Andersson and Nadezhda Koriakina and Nataša Sladoje and Joakim Lindblad},
journal= {arXiv preprint arXiv:2203.03981},
year = {2022}
}