基于全局对齐的连续学习

连续学习旨在顺序学习新任务而不遗忘先前任务的知识（灾难性遗忘）。导致遗忘的一个因素是不同任务损失上的梯度之间的干扰。当当前任务损失上的梯度与先前任务损失上的梯度方向相反时，为当前任务更新模型可能导致先前任务上的性能下降。本文中，我们首先识别上述干扰的成因，并假设数据表示之间的相关性是干扰的关键因素。然后我们提出一种在单个任务学习中促进任意任务数据表示之间适当相关性（即全局对齐）的方法。具体而言，我们将数据表示学习为所有任务共享的预训练词元表示的任务特定组合。于是不同任务数据表示之间的相关性由预训练词元表示之间的相关性所奠定。我们探索了学习此类组合的不同方式。在无经验回放的情况下，我们的模型在连续学习任务中达到 SOTA 性能。它也通过任务增量训练实现了先进的类增量性能。