基于依赖保持超网络的持续学习
机器学习
2022-09-19 v1 计算机视觉与模式识别
摘要
人类在其一生中通过积累多样知识并针对未来任务进行微调而持续学习。当面临类似目标时,如果顺序任务的数据分布在训练过程中非平稳,神经网络会遭受灾难性遗忘。解决此类持续学习(CL)问题的一种有效方法是使用超网络为目标网络生成任务依赖的权重。然而,现有基于超网络的方法为了保持参数效率,假设各层权重相互独立,这影响了其持续学习性能。为克服该局限,我们提出一种新方法,使用依赖保持超网络为目标网络生成权重,同时保持参数效率。我们提出使用基于循环神经网络(RNN)的超网络,能够高效生成各层权重并允许层间依赖。此外,我们为基于RNN的超网络提出新的正则化与网络增长技术,以进一步提升持续学习性能。为验证所提方法的有效性,我们在多个图像分类持续学习任务与设置上进行了实验。我们发现,基于RNN超网络的方法在所有这些CL设置与任务中均优于基线。
引用
@article{arxiv.2209.07712,
title = {Continual Learning with Dependency Preserving Hypernetworks},
author = {Dupati Srikar Chandra and Sakshi Varshney and P. K. Srijith and Sunil Gupta},
journal= {arXiv preprint arXiv:2209.07712},
year = {2022}
}
备注
Paper got accepted in IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023