基于知识不变与分散特性的在线持续学习
计算机视觉与模式识别
2023-02-03 v1
摘要
持续学习的目标是提供能够利用从先前任务获得的知识持续学习一系列任务、同时在既往任务上表现良好的智能体。然而，这一持续学习范式中的一个关键挑战是灾难性遗忘，即适配模型至新任务常导致既往任务上的严重性能退化。当前基于记忆的方法通过在学习新任务时重放来自过去任务的样本，在缓解灾难性遗忘问题上显示出成功。然而，这些方法难以迁移先前任务的结构性知识，即不同实例之间的相似或不相似关系。此外，当前与既往任务之间的学习偏差也是亟待解决的问题。在本工作中，我们提出一种新方法，名为基于知识不变与分散特性的在线持续学习（OCLKISP），其中我们通过知识不变与分散特性（KISP）约束嵌入特征的演化。由此，我们可进一步迁移先前任务的实例间结构知识，同时缓解由学习偏差引起的遗忘。我们在四个流行的持续学习基准上实证评估了所提方法：Split CIFAR 100、Split SVHN、Split CUB200 与 Split Tiny-Image-Net。实验结果显示了我们的方法与最先进持续学习算法相比的有效性。
引用
@article{arxiv.2302.00858,
title = {Online Continual Learning via the Knowledge Invariant and Spread-out Properties},
author = {Ya-nan Han and Jian-wei Liu},
journal= {arXiv preprint arXiv:2302.00858},
year = {2023}
}
备注
30 pages