神经网络的持续学习学习曲线：自我知识迁移与遗忘

从任务到任务的顺序训练正成为持续学习和迁移学习等深度学习应用中的主要对象之一。然而，在何种条件下训练模型的性能会改善或恶化仍不清楚。为加深对顺序训练的理解，本研究在可解的持续学习情形下对泛化性能进行理论分析。我们考虑神经切线核（NTK）机制下的神经网络持续学习任务到任务的目标函数，并利用已建立的核无岭回归的统计力学分析来研究泛化。我们首先展示了从正迁移到负迁移的特征转变。高于特定临界值的更相似目标可为后续任务实现正知识迁移，而即使目标非常相似也会发生灾难性遗忘。接下来，我们研究一种假设多个任务中目标函数相同的持续学习变体。即使对于相同目标，训练模型也表现出依赖于各任务样本量的某些迁移与遗忘。我们可以保证在相等样本量下泛化误差随任务单调下降，而不平衡样本量会恶化泛化。我们分别将这些改善和恶化称为自我知识迁移和遗忘，并在深度神经网络的实际训练中也实证确认了它们。