DASH：平稳设置下神经网络训练的热启动且不损失可塑性

通过用先前学到的权重初始化网络来热启动神经网络训练具有吸引力，因为实际神经网络通常部署在持续涌入新数据的环境中。然而，这往往导致可塑性丧失，即网络失去学习新信息的能力，导致比从头训练更差的泛化性能。即使在平稳数据分布下也会发生这种情况，其潜在机制尚不完全清楚。我们开发了一个模拟真实神经网络训练的框架，并识别出噪声记忆是平稳数据上热启动时导致可塑性丧失的主要原因。受此启发，我们提出了方向感知收缩（DASH），一种旨在通过选择性遗忘已记忆的噪声同时保留已学到的特征来缓解可塑性丧失的方法。我们在视觉任务上验证了我们的方法，证明了在测试准确率和训练效率方面的提升。