鲁棒特征在缓解灾难性遗忘中的重要性
机器学习
2023-07-04 v1 计算机视觉与模式识别
摘要
持续学习(CL)是一种应对灾难性遗忘的方法,灾难性遗忘指神经网络在训练新任务或数据分布时遗忘先前所学知识。对抗鲁棒性已将特征分解为鲁棒与非鲁棒两类,并证明基于鲁棒特征训练的模型显著增强对抗鲁棒性。然而,尚无研究从 CL 模型视角考察鲁棒特征在缓解 CL 中灾难性遗忘的有效性。本文中,我们引入 CL 鲁棒数据集,并在标准数据集与 CL 鲁棒数据集上训练四个基线模型。我们的结果表明,在 CL 鲁棒数据集上训练的 CL 模型比较在标准数据集上训练时,对先前所学任务的灾难性遗忘更少。我们的观察凸显了提供给底层 CL 模型的特征的重要性,表明 CL 鲁棒特征可缓解灾难性遗忘。
引用
@article{arxiv.2306.17091,
title = {The Importance of Robust Features in Mitigating Catastrophic Forgetting},
author = {Hikmat Khan and Nidhal C. Bouaynaya and Ghulam Rasool},
journal= {arXiv preprint arXiv:2306.17091},
year = {2023}
}