用于持续学习的局部超网络
机器学习
2023-06-21 v1
摘要
超网络通过在元模型层面生成任务依赖权重并惩罚权重变化，来缓解持续学习（CL）中的遗忘。遗憾的是，生成全部权重不仅对较大架构计算昂贵，而且生成全部模型权重是否必要尚不清晰。受 CL 中潜在重放方法的启发，我们提出使用超网络对模型最终层进行局部权重生成，同时冻结初始层。基于此目标，我们首先回答在不损害最终性能的前提下可冻结多少层的问题。通过若干实验，我们经验性地表明可冻结层数正比于 CL 流中的分布相似性。随后，为证明超网络的有效性，我们展示噪声流会显著影响潜在重放方法的性能，当来自噪声经验的特徵与旧样本一同重放时导致遗忘增加。相比之下，局部超网络通过维持对先前经验的准确率而对噪声更鲁棒。最后，我们在 split CIFAR-100 与 TinyImagenet 基准上开展实验，并将不同版本的局部超网络与潜在重放方法比较。我们得出结论：使用超网络的局部权重生成是神经网络遗忘问题的一个有前景的解法，它能在 CL 流中提供计算与最终测试准确率之间的有效平衡。
引用
@article{arxiv.2306.10724,
title = {Partial Hypernetworks for Continual Learning},
author = {Hamed Hemati and Vincenzo Lomonaco and Davide Bacciu and Damian Borth},
journal= {arXiv preprint arXiv:2306.10724},
year = {2023}
}
备注
Accepted to the 2nd Conference on Lifelong Learning Agents (CoLLAs), 2023