等变正则化在鲁棒在线持续学习中的有效性研究
机器学习
2023-05-08 v1
摘要
人类能够增量式地学习，而神经网络会以灾难性的方式遗忘先前获得的信息。持续学习（CL）方法旨在缩小这一差距，通过在训练过程中促进知识向先前任务（后向迁移）和未来任务（前向迁移）的转移。近期研究表明，自监督能够产生可泛化到多种下游任务的通用模型。然而，作为一种流行的自监督技术，对比自监督学习（CSSL）在在线持续学习（OCL）中效果有限。OCL仅允许对输入数据集进行一次迭代，而CSSL较低的样本效率阻碍了其在该输入数据流上的使用。在本工作中，我们提出基于等变正则化的持续学习（CLER），一种利用等变任务进行自监督以避免CSSL局限性的OCL方法。我们的方法首次尝试将等变知识与CL结合，并且可以轻松地与现有OCL方法集成。大量消融实验揭示了等变预文本任务如何影响网络的信息流及其对CL动态的影响。
引用
@article{arxiv.2305.03648,
title = {On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning},
author = {Lorenzo Bonicelli and Matteo Boschini and Emanuele Frascaroli and Angelo Porrello and Matteo Pennisi and Giovanni Bellitto and Simone Palazzo and Concetto Spampinato and Simone Calderara},
journal= {arXiv preprint arXiv:2305.03648},
year = {2023}
}
备注
10 pages, 4 figures