深度主动学习在图像分类任务上的有效评估

为了使深度学习更具标注效率，越来越多的论文在研究面向深度模型的主动学习（AL）。然而，当前流行的实验设置存在诸多问题，主要源于缺乏统一的实现与基准测试。现有文献中的问题包括：对不同AL算法性能有时相互矛盾的观察、无意中排除了数据增强和SGD优化等重要泛化方法、缺乏对AL标注效率等评估维度的研究，以及对于AL优于随机采样（RS）的场景几乎或完全没有阐明。在本工作中，我们通过新的开源AL工具包DISTIL，在图像分类背景下对最先进的AL算法进行了统一重实现，并将这些问题作为有效评估的维度进行了细致研究。在积极的一面，我们表明在使用数据增强的情况下，AL技术相比RS具有$2\times$至$4\times$的标注效率提升。令人惊讶的是，当包含数据增强时，最先进的方法BADGE相比简单的不确定性采样不再具有一致的增益。随后，我们仔细分析了现有方法在不同冗余量和每类样本数量下的表现。最后，我们为AL从业者提供了未来工作中需考虑的若干见解，例如AL批量大小的影响、初始化效果、每轮重新训练模型的重要性以及其他见解。