持续学习的三种场景

标准人工神经网络存在众所周知的灾难性遗忘问题，使得持续学习或终身学习对机器学习而言十分困难。近年来，人们提出了大量持续学习方法，但由于评估协议存在差异，难以直接比较其性能。为了实现更有结构性的比较，我们描述了三种持续学习场景，其区分依据是在测试时是否提供任务标识，以及——若未提供——是否必须推断该标识。任何定义良好的任务序列均可按每种场景执行。利用分割MNIST与置换MNIST任务协议，我们针对每种场景对近期提出的持续学习方法进行了广泛比较。我们展示了三种场景在难度和不同方法的效率方面存在显著差异。特别地，当必须推断任务标识（即类增量学习）时，我们发现基于正则化的方法（如弹性权重巩固）失效，而重放以往经验的表征似乎是解决该场景所必需的。