用于持续学习的子空间蒸馏方法
计算机视觉与模式识别
2023-08-02 v2 人工智能
机器学习
摘要
持续学习的最终目标是在学习新任务的同时保留先前任务中学到的知识。为减轻对先验知识的遗忘，我们提出了一种新颖的知识蒸馏技术，其在学习新任务时考虑了神经网络潜空间/输出空间的流形结构。为此，我们提出对数据流形进行至一阶的近似，从而利用线性子空间来建模结构并在学习新概念时保持神经网络的知识。我们证明了基于子空间的建模具有若干引人注目的性质，包括对噪声的鲁棒性，因此可有效缓解持续学习中的灾难性遗忘。我们讨论并展示了所提方法如何被用于解决分类与分割问题。经实验，我们观察到所提方法在包括Pascal VOC和Tiny-Imagenet在内的多个挑战性数据集上优于多种持续学习方法。此外，我们展示了该方法如何与现有学习方法无缝结合以提升其性能。本文代码将发布于https://github.com/csiro-robotics/SDCL。
引用
@article{arxiv.2307.16419,
title = {Subspace Distillation for Continual Learning},
author = {Kaushik Roy and Christian Simon and Peyman Moghadam and Mehrtash Harandi},
journal= {arXiv preprint arXiv:2307.16419},
year = {2023}
}
备注
Neural Networks (submitted May 2022, accepted July 2023)