以带反馈连接生成式回放作为持续学习的通用策略

开发具备真正终身学习能力的人工智能应用的一大障碍是，人工神经网络在训练新任务时会快速或灾难性地遗忘先前学习的任务。目前提出了许多缓解灾难性遗忘的方法，但评估协议的差异常使直接比较其性能变得困难。为了实现更有意义的比较，我们基于任务身份是否已知、若未知是否需要推断，确定了三种不同的持续学习场景。按照每种场景执行 split 和 permuted MNIST 任务协议，我们发现基于正则化的方法（如弹性权重巩固）在需要推断任务身份时失效。相比之下，生成式回放结合蒸馏（即使用类别概率作为“软目标”）在所有三种场景中均取得了优越性能。针对效率问题，我们通过将生成模型集成到主模型中并为其配备生成式反馈或反向连接，降低了生成式回放的计算成本。这种 Replay-through-Feedback 方法大幅缩短了训练时间，且性能无损失或可忽略不计。我们认为这是使强大的生成式回放技术可扩展到真实世界持续学习应用的重要第一步。