基于流形扩展回放的持续学习
机器学习
2023-10-13 v1 计算机视觉与模式识别
信息检索
摘要
在持续学习中，学习器按顺序学习多个任务，每个任务的数据仅获取一次。灾难性遗忘是持续学习的主要挑战。为减少遗忘，一些现有的基于回放的方法使用情景记忆来重放先前任务的样本。然而，在学习新任务时的知识整合过程中，由于新旧知识之间的不平衡，该策略也遭受灾难性遗忘。为解决此问题，我们提出了一种称为流形扩展回放（Manifold Expansion Replay, MaER）的新型回放策略。我们认为，扩展情景记忆中知识表示的隐式流形有助于提升模型的鲁棒性和表达能力。为此，我们提出一种贪心策略，在记忆管理过程中持续增大缓冲区中知识所表示的隐式流形的直径。此外，我们引入Wasserstein距离替代交叉熵作为蒸馏损失以保留先前知识。通过在MNIST、CIFAR10、CIFAR100和TinyImageNet上的大量实验验证，我们表明所提方法在持续学习设定下显著提升了准确率，优于当前最优方法（state of the arts）。
引用
@article{arxiv.2310.08038,
title = {Continual Learning via Manifold Expansion Replay},
author = {Zihao Xu and Xuan Tang and Yufei Shi and Jianfeng Zhang and Jian Yang and Mingsong Chen and Xian Wei},
journal= {arXiv preprint arXiv:2310.08038},
year = {2023}
}