大象神经网络：为持续学习而生
机器学习
2023-10-03 v1 人工智能
摘要
灾难性遗忘数十年来一直是持续学习的重大挑战。尽管近期工作提出了缓解该问题的有效方法，但它们主要聚焦于算法层面。同时，我们尚未充分理解神经网络的何种架构特性导致了灾难性遗忘。本研究旨在通过考察激活函数在神经网络训练动态中的作用及其对灾难性遗忘的影响来填补此空白。我们的研究揭示，除稀疏表征外，激活函数的梯度稀疏性也在减少遗忘中发挥重要作用。基于该洞见，我们提出一类新激活函数——大象激活函数，其能同时生成稀疏表征与稀疏梯度。我们展示仅需将经典激活函数替换为大象激活函数，即可显著提升神经网络对灾难性遗忘的鲁棒性。我们的方法具有广泛适用性，并有益于回归、类增量学习与强化学习任务中的持续学习。具体而言，我们仅单次遍历即在 Split MNIST 数据集上取得优异性能，无需使用回放缓冲、任务边界信息或预训练。
引用
@article{arxiv.2310.01365,
title = {Elephant Neural Networks: Born to Be a Continual Learner},
author = {Qingfeng Lan and A. Rupam Mahmood},
journal= {arXiv preprint arXiv:2310.01365},
year = {2023}
}