超越持续学习克服灾难性遗忘：面向神经机器翻译的平衡训练

神经网络在从动态数据分布中顺序学习多个任务时，往往会逐渐遗忘先前学到的知识。这一问题被称为灾难性遗忘（catastrophic forgetting），是神经网络持续学习中的基本挑战。在本工作中，我们观察到灾难性遗忘不仅出现在持续学习中，也会影响传统的静态训练。神经网络，尤其是神经机器翻译模型，即使从静态训练集中学习也会遭受灾难性遗忘。具体而言，最终模型对训练样本的关注不均衡，近期暴露的样本比早期样本吸引了更多关注。其根本原因在于训练样本在每次模型更新中未得到平衡训练，因此我们将该问题命名为不平衡训练（imbalanced training）。为缓解此问题，我们提出互补在线知识蒸馏（COKD），其利用在特定数据顺序上训练的、动态更新的教师模型，迭代地向学生模型提供互补知识。在多个机器翻译任务上的实验结果表明，我们的方法成功缓解了不平衡训练问题，并相较强基线系统取得了显著提升。