通过进阶零空间在持续学习中平衡稳定性与可塑性
计算机视觉与模式识别
2022-07-26 v1 机器学习
摘要
持续学习是一种在资源受限条件下顺序学习任务的范式，其核心挑战在于稳定性-可塑性困境，即难以同时具备防止旧任务灾难性遗忘的稳定性与学好新任务的可塑性。本文提出一种新的持续学习方法——进阶零空间（Advanced Null Space, AdNS），在不存储任何旧任务数据的情况下平衡稳定性与可塑性。具体而言，为获得更好的稳定性，AdNS 利用低秩近似获得新颖的零空间，并将梯度投影到该零空间上以防止对过去任务的干扰。为控制零空间的生成，我们引入非均匀约束强度以进一步减少遗忘。此外，我们提出了一种简单而有效的任务内蒸馏方法以提升当前任务性能。最后，我们从理论上发现零空间分别可塑性与稳定性中起着关键作用。实验结果表明，所提方法相比最先进的持续学习方法取得了更优性能。
引用
@article{arxiv.2207.12061,
title = {Balancing Stability and Plasticity through Advanced Null Space in Continual Learning},
author = {Yajing Kong and Liu Liu and Zhen Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2207.12061},
year = {2022}
}
备注
Accepted by ECCV2022 (Oral)