在特征协方差零空间训练网络用于持续学习
机器学习
2021-03-18 v3
摘要
在持续学习设定中，网络按任务序列进行训练，并遭受灾难性遗忘。为平衡持续学习中网络的可塑性与稳定性，本文提出一种称为 Adam-NSCL 的新型网络训练算法，该算法在先前任务的零空间中依次优化网络参数。我们首先分别提出在持续学习中实现网络稳定性与可塑性的两个数学条件。基于此，序列任务的网络训练可通过将候选参数更新投影至网络训练过程中所有先前任务的近似零空间来简单实现，其中候选参数更新可由 Adam 生成。近似零空间可通过将奇异值分解应用于每个线性层所有先前任务输入特征的非中心协方差矩阵得到。为提升效率，非中心协方差矩阵可在学习每个任务后增量计算。我们还从经验上验证了各线性层近似零空间的合理性。我们将该方法应用于在 CIFAR-100 与 TinyImageNet 基准数据集上训练持续学习网络，结果表明所提方法优于或与最先进的持续学习方法相当。
引用
@article{arxiv.2103.07113,
title = {Training Networks in Null Space of Feature Covariance for Continual Learning},
author = {Shipeng Wang and Xiaorong Li and Jian Sun and Zongben Xu},
journal= {arXiv preprint arXiv:2103.07113},
year = {2021}
}
备注
Accepted as an oral of CVPR2021