通过方向约束优化克服灾难性遗忘
机器学习
2022-07-05 v3 机器学习
摘要
本文研究在持续学习框架下训练具有固定分类网络架构的深度学习模型时优化算法的新设计。训练数据是非平稳的，且非平稳性由一系列不同任务施加。我们首先分析仅在隔离状态下训练于单一学习任务的深度模型，并识别出网络参数空间中的一个区域，其中模型性能接近已恢复的最优值。我们提供经验证据，表明该区域类似于沿收敛方向扩展的锥体。我们研究优化器收敛后轨迹的主方向，并表明沿少数顶部主方向行进可快速将参数带出锥体，但对于其余方向则并非如此。我们认为，在持续学习设定中，当参数被约束保持在训练迄今遇到的各个任务的合理锥体之交集内时，灾难性遗忘可得到缓解。基于该观察，我们提出方向约束优化(DCO)方法，其中对每个任务我们引入一个线性自编码器来近似其相应的顶部禁忌主方向。它们随后以正则化项的形式并入损失函数，以在学习后续任务时不发生遗忘。此外，为控制随任务数增加的内存增长，我们提出一种称为压缩DCO(DCO-COMP)的内存高效版算法，其为存储所有自编码器分配固定大小的内存。我们通过经验证明，与其他最先进的基于正则化的持续学习方法相比，我们的算法表现更优。
引用
@article{arxiv.2011.12581,
title = {Overcoming Catastrophic Forgetting via Direction-Constrained Optimization},
author = {Yunfei Teng and Anna Choromanska and Murray Campbell and Songtao Lu and Parikshit Ram and Lior Horesh},
journal= {arXiv preprint arXiv:2011.12581},
year = {2022}
}