AlterSGD：通过交替训练为持续学习寻找平坦极小值
机器学习
2021-07-14 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络在顺序学习多种知识时会遭受灾难性遗忘，已有大量方法被提出以缓解该问题。其中一些方法通过将平坦局部极小值与持续学习中的遗忘缓解相关联而取得了可观性能。然而，它们不可避免地需要（1）繁琐的超参数调优，以及（2）额外的计算成本。为缓解这些问题，本文提出一种简单而有效的优化方法AlterSGD，用于在损失景观中搜索平坦极小值。在AlterSGD中，当网络趋于在每一轮新知识学习时收敛，我们交替进行梯度下降与梯度上升。此外，我们从理论上证明了该策略能够促使优化收敛到平坦极小值。我们在持续学习语义分割基准上验证了AlterSGD，实证结果表明，在具有挑战性的持续学习设定下，我们能够显著缓解遗忘，并以较大优势超越SOTA方法。
引用
@article{arxiv.2107.05804,
title = {AlterSGD: Finding Flat Minima for Continual Learning by Alternative Training},
author = {Zhongzhan Huang and Mingfu Liang and Senwei Liang and Wei He},
journal= {arXiv preprint arXiv:2107.05804},
year = {2021}
}