低秩正交子空间中的持续学习
机器学习
2020-12-09 v2
摘要
在持续学习 (CL) 中，学习者面对依次到达的一系列任务，目标是在持续学习过程结束后记住所有任务。CL的现有方法使用情景记忆、参数正则化或可扩展网络结构来减少任务间的干扰，但最终所有方法都在一个联合向量空间中学习不同的任务。我们认为这不可避免地导致不同任务之间的干扰。我们提议在不同的（低秩）向量子空间中学习任务，这些子空间彼此保持正交以最小化干扰。此外，为使来自这些子空间的不同任务的梯度彼此正交，我们通过将网络训练表述为Stiefel流形上的优化问题来学习等距映射。据我们所知，我们首次在标准持续学习分类基准上报告了相对于带记忆与不带记忆的经验回放基线均更强的实验结果。代码已公开可用。
引用
@article{arxiv.2010.11635,
title = {Continual Learning in Low-rank Orthogonal Subspaces},
author = {Arslan Chaudhry and Naeemullah Khan and Puneet K. Dokania and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2010.11635},
year = {2020}
}
备注
The paper is accepted at NeurIPS'20