关于 Lipschitz 驱动重演在持续学习中的有效性

Lorenzo Bonicelli; Matteo Boschini; Angelo Porrello; Concetto Spampinato; Simone Calderara

关于 Lipschitz 驱动重演在持续学习中的有效性

机器学习 2022-10-18 v2 人工智能

作者: Lorenzo Bonicelli , Matteo Boschini , Angelo Porrello , Concetto Spampinato , Simone Calderara

摘要

重演方法在持续学习（CL）从业者中极受欢迎。这些方法将先前遇到的数据分布中的样本收集到一个小的记忆缓冲区中；随后，它们在该缓冲区上反复优化以防止灾难性遗忘。本文提请注意这一广泛做法中一个隐藏的缺陷：在小型数据池上反复优化不可避免地导致紧凑且不稳定的决策边界，这是泛化的主要障碍。为解决此问题，我们提出 Lipschitz 驱动重演（LiDER），这是一种替代目标，通过约束主干网络相对于重演样本的逐层 Lipschitz 常数来诱导其平滑性。通过大量实验，我们表明应用 LiDER 可在多个数据集上为多种最先进的重演式 CL 方法带来稳定的性能提升，无论是否存在预训练。通过额外的消融实验，我们凸显了 CL 中缓冲区过拟合的特殊方面，并更好地刻画了 LiDER 所产生的效果。代码见 https://github.com/aimagelab/LiDER

关键词

持续学习重演灾难性遗忘 Lipschitz 常数缓冲区过拟合 LiDER 替代目标

引用

@article{arxiv.2210.06443,
  title  = {On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning},
  author = {Lorenzo Bonicelli and Matteo Boschini and Angelo Porrello and Concetto Spampinato and Simone Calderara},
  journal= {arXiv preprint arXiv:2210.06443},
  year   = {2022}
}

备注

22 pages, 8 figures, typos corrected. Accepted at the thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022), New Orleans, US

关于 Lipschitz 驱动重演在持续学习中的有效性

摘要

关键词

引用

备注

相关论文