基于稀疏性与异质 dropout 的神经网络激活零空间持续学习方法
机器学习
2022-07-11 v2 人工智能
计算机视觉与模式识别
摘要
从非平稳输入数据流中进行持续/终身学习中是智能的基石。尽管深度神经网络在各类应用中表现卓越，但在学习新信息时会遗忘先前所学，此现象称为“灾难性遗忘”，深植于稳定性–可塑性困境中。近年来，克服深度神经网络中的灾难性遗忘已成为活跃的研究领域。尤其是基于梯度投影的方法在克服灾难性遗忘方面近期展现出优异性能。本文提出两种受生物学启发的机制，基于稀疏性与异质 dropout，可显著提升持续学习器在长任务序列上的性能。我们所提方法构建于梯度投影记忆（GPM）框架之上。我们利用神经网络各层的 k-winner 激活来强制每个任务的层间稀疏激活，并配合任务间异质 dropout，促使网络在不同任务间使用非重叠的激活模式。此外，我们引入了两个分布偏移下的持续学习新基准，即 Continual Swiss Roll 与 ImageNet SuperDog-40。最后，我们对所提方法进行了深入分析，并在多个基准持续学习问题上展示了显著的性能提升。
引用
@article{arxiv.2203.06514,
title = {Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations},
author = {Ali Abbasi and Parsa Nooralinejad and Vladimir Braverman and Hamed Pirsiavash and Soheil Kolouri},
journal= {arXiv preprint arXiv:2203.06514},
year = {2022}
}