学习、遗忘与再学习：深度神经网络的在线学习范式
机器学习
2023-03-21 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络通常在完整训练集已预先提供的前提下进行训练。然而在真实场景中，数据通常随时间以分块形式到达。这引发了对 DNN 最优训练策略的重要考量，例如是用每批新数据进行微调（热启动），还是在获得新数据时用全部数据从头开始重新训练。虽然后者训练方式可能资源消耗较大，但近期研究指出热启动模型缺乏泛化能力。因此，为了在效率和泛化之间取得平衡，我们提出了 Learn、Unlearn 和 Relearn (LURE)，一种面向 DNN 的在线学习范式。LURE 在遗忘阶段和再学习阶段之间交替：前者通过以数据相关的方式进行权重重初始化，选择性地遗忘模型中的不良信息；后者则强调对可泛化特征的学习。我们表明，我们的训练范式在分类和少样本设置下的多个数据集上均提供了一致的性能提升。我们进一步表明，该方法能产生更鲁棒且校准良好的模型。
引用
@article{arxiv.2303.10455,
title = {Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks},
author = {Vijaya Raghavan T. Ramkumar and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2303.10455},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research (TMLR)