通过利用训练动态进行深度主动学习
机器学习
2022-11-22 v2
摘要
主动学习理论与方法在经典统计学习设定下已被广泛研究。然而，深度主动学习，即结合深度学习模型的主动学习，通常基于经验准则而缺乏坚实的理论依据，因而当其中一些方法无法在真实应用中带来收益时，会受到严重质疑。在本文中，通过探索泛化性能与训练动态之间的联系，我们提出了一种理论驱动的深度主动学习方法（dynamicAL），该方法选择样本以最大化训练动态。具体而言，我们证明了在超宽条件下训练收敛速度与泛化性能正相关，并表明最大化训练动态可带来更好的泛化性能。此外，为扩展到大型深度神经网络和数据集，我们针对子集选择问题引入了两种松弛方法，将时间复杂度从多项式降至常数。实证结果表明，dynamicAL 不仅持续优于其他基线方法，而且在高大深度学习模型上具有良好的可扩展性。我们希望我们的工作能启发更多尝试，以桥接深度网络的理论发现与深度主动学习在真实应用中的实际影响。
引用
@article{arxiv.2110.08611,
title = {Deep Active Learning by Leveraging Training Dynamics},
author = {Haonan Wang and Wei Huang and Ziwei Wu and Andrew Margenot and Hanghang Tong and Jingrui He},
journal= {arXiv preprint arXiv:2110.08611},
year = {2022}
}
备注
Accepted by NeurIPS 2022