用于持续学习的隐空间谱正则化
机器学习
2024-07-17 v4
摘要
生物智能在生命过程中随着新知识的获取而有机地增长，而人工神经网络在面对训练数据分布变化时会发生灾难性遗忘。基于回放的持续学习（CL）方法已被确立为克服此限制的通用可靠方案；然而，突发的输入扰动和内存限制已知会改变其预测的一致性。我们通过研究学习者隐空间的几何特征来考察该现象，发现不同类的回放数据点日益混淆，干扰分类。因此，我们提出一种几何正则化器，对隐空间的拉普拉斯谱施加弱要求，促进分区行为。我们的方案称为增量学习持续谱正则化器（CaSpeR-IL），可轻松与任何基于回放的 CL 方法结合，并在标准基准上提升 SOTA 方法的性能。
引用
@article{arxiv.2301.03345,
title = {Latent Spectral Regularization for Continual Learning},
author = {Emanuele Frascaroli and Riccardo Benaglia and Matteo Boschini and Luca Moschella and Cosimo Fiorini and Emanuele Rodolà and Simone Calderara},
journal= {arXiv preprint arXiv:2301.03345},
year = {2024}
}
备注
14 pages, 4 figures, , to appear in Pattern Recognition Letters, Volume 184, August 2024, Pages 119-125