ScrollNet：面向持续学习的动态权重重要性方法
计算机视觉与模式识别
2023-09-01 v1
摘要
大多数现有持续学习（CL）方法的基本原理是通过惩罚对旧任务至关重要的参数变化来优先考虑稳定性，同时允许其他参数具有可塑性。每个任务权重的重要性可以通过训练期间学习特定于任务的掩码（例如，基于参数隔离的方法）显式确定，或通过引入正则化项（例如，基于正则化的方法）隐式确定。然而，所有这些方法都假设每个任务的权重重要性在数据暴露之前是未知的。在本文中，我们提出 ScrollNet 作为一种用于持续学习的滚动神经网络。ScrollNet 可被视为一种动态网络，在数据暴露之前为每个任务分配权重重要性排序，从而通过为不同任务重新分配该排序，在顺序任务学习期间实现更有利的稳定性-可塑性权衡。此外，我们证明 ScrollNet 可与各种 CL 方法结合，包括基于正则化和基于回放的方法。在 CIFAR100 和 TinyImagenet 数据集上的实验结果表明了我们提出方法的有效性。我们在 https://github.com/FireFYF/ScrollNet.git 发布了代码。
引用
@article{arxiv.2308.16567,
title = {ScrollNet: Dynamic Weight Importance for Continual Learning},
author = {Fei Yang and Kai Wang and Joost van de Weijer},
journal= {arXiv preprint arXiv:2308.16567},
year = {2023}
}
备注
Accepted at Visual Continual Learning workshop (ICCV2023)