无遗忘渐进学习
计算机视觉与模式识别
2022-11-29 v1 机器学习
摘要
在不断变化的任务和序列经验中学习而不遗忘已获得的知识，对于人工神经网络来说是一个具有挑战性的问题。在这项工作中，我们聚焦于在不涉及任何旧数据的情况下，持续学习 (CL) 范式中的两个挑战性问题：(i) 由于模型学习先前知识的知识空间逐渐消退，导致灾难性遗忘的累积；(ii) 在学习新任务过程中，平衡稳定性与可塑性的不受控制的拉锯战动态。为了解决这些问题，我们提出了无遗忘渐进学习 (PLwF) 以及优化器中的信用分配机制。PLwF 密集地引入来自先前任务的模型函数，以构建一个知识空间，使其包含每个任务最可靠的知识以及不同任务的分布信息，而信用分配则通过投影消除梯度冲突来控制拉锯战动态。大量的消融实验证明了 PLwF 和信用分配的有效性。与其他 CL 方法相比，即使不依赖任何原始数据，我们也报告了显著更好的结果。
引用
@article{arxiv.2211.15215,
title = {Progressive Learning without Forgetting},
author = {Tao Feng and Hangjie Yuan and Mang Wang and Ziyuan Huang and Ang Bian and Jianzhou Zhang},
journal= {arXiv preprint arXiv:2211.15215},
year = {2022}
}