理解训练机制在持续学习中的作用

灾难性遗忘影响神经网络的训练，限制其按顺序学习多个任务的能力。从已被充分确立的可塑性-稳定性困境视角来看，神经网络往往过度可塑，缺乏防止遗忘先前知识所需的稳定性，这意味着随着学习推进，网络倾向于遗忘先前见过的任务。这一在持续学习文献中被提出的现象近来备受关注，并已提出若干不同成功程度的方案族。然而，此前广泛分析不同训练机制——学习率、批大小、正则化方法——对遗忘影响的工作十分有限。在本工作中，我们偏离通过改动学习算法来提升稳定性的典型做法。相反，我们假设各任务所找到的局部极小值的几何性质在整体遗忘程度上起着重要作用。特别地，我们研究 dropout、学习率衰减和批大小对形成拓宽任务局部极小值的训练机制的影响，并进而研究其如何帮助网络避免灾难性遗忘。我们的研究提供了通过简单而有效的技术改善稳定性的实用见解，这些技术优于替代基线。