通过反向特征投影在持续学习中保持线性可分性
机器学习
2023-06-29 v3 人工智能
计算机视觉与模式识别
摘要
灾难性遗忘一直是持续学习中的主要挑战，其中模型需要在对先前所见任务数据有限或无法访问的情况下学习新任务。为应对此挑战，已提出基于特征空间知识蒸馏的方法，并被证明能减少遗忘。然而，大多数特征蒸馏方法直接约束新特征匹配旧特征，忽视了可塑性的需求。为实现更好的稳定性-可塑性权衡，我们提出反向特征投影（BFP），一种允许新特征变化至旧特征的可学习线性变换的持续学习方法。BFP 在保持旧类别线性可分性的同时，允许新特征方向的出现以容纳新类别。BFP 可与现有经验回放方法集成，并显著提升性能。我们还证明 BFP 有助于学习更好的表示空间，其中线性可分性在持续学习中得以良好保持，且线性探测取得高分类准确率。代码可在 https://github.com/rvl-lab-utoronto/BFP 找到。
引用
@article{arxiv.2303.14595,
title = {Preserving Linear Separability in Continual Learning by Backward Feature Projection},
author = {Qiao Gu and Dongsub Shim and Florian Shkurti},
journal= {arXiv preprint arXiv:2303.14595},
year = {2023}
}
备注
CVPR 2023. The code can be found at https://github.com/rvl-lab-utoronto/BFP