在深度持续学习中保持可塑性
机器学习
2024-04-11 v3
摘要
现代深度学习系统专用于一次性训练且此后不再训练的问题设定，而非持续学习设定中训练持续进行的情况。若将深度学习系统应用于持续学习设定，众所周知它们可能遗忘先前的样本。更根本但较少为人所知的是，它们也可能丧失在新样本上学习的能力，这一现象称为可塑性丧失。我们利用重新构造成任务序列的 MNIST 和 ImageNet 数据集，直接展示了可塑性丧失。在 ImageNet 中，二分类准确率从第 1 个任务的 89% 下降到第 2000 个任务的 77%，约为线性网络水平。可塑性丧失在多种深度网络架构、优化器、激活函数、批归一化、dropout 中均出现，但被 L2 正则化显著缓解，尤其当其与权重扰动结合时。此外，我们引入了一种新算法——持续反向传播（continual backpropagation）——它对常规反向传播稍作修改，在每个样本后重新初始化一小部分较少使用的单元，并似乎能无限期地保持可塑性。
引用
@article{arxiv.2306.13812,
title = {Maintaining Plasticity in Deep Continual Learning},
author = {Shibhansh Dohare and J. Fernando Hernandez-Garcia and Parash Rahman and A. Rupam Mahmood and Richard S. Sutton},
journal= {arXiv preprint arXiv:2306.13812},
year = {2024}
}