宽神经网络灾难性遗忘更轻

持续学习研究的一个主要关注领域是通过设计对分布偏移更具鲁棒性的新算法来缓解神经网络中的“灾难性遗忘”问题。尽管近期持续学习文献的进展令人鼓舞，我们对神经网络的哪些性质导致了灾难性遗忘仍知之有限。为此，本工作不聚焦于持续学习算法，而是关注模型本身，研究神经网络架构的“宽度”对灾难性遗忘的影响，并表明宽度对遗忘有着出乎意料显著影响。为解释该效应，我们从梯度正交性、稀疏性和惰性训练机制等多种视角研究网络的学习动态。我们提供了与不同架构和持续学习基准上的经验结果相一致的潜在解释。