正交梯度下降持续学习的泛化保证
机器学习
2020-12-07 v4 机器学习
摘要
在持续学习（Continual Learning）设定中，深度神经网络易受灾难性遗忘（Catastrophic Forgetting）影响。正交梯度下降（OGD）被提出以应对该挑战。然而，尚未有理论保证被证明。我们提出一个理论框架，在神经正切核（Neural Tangent Kernel）机制下研究持续学习算法。该框架包含跨任务的模型闭式表达以及迁移学习、泛化与任务相似度的代理量。在此框架中，我们证明 OGD 对灾难性遗忘具有鲁棒性，进而推导出 SGD 与 OGD 用于持续学习的首个泛化界。最后，我们研究了该框架在 OGD 实践中的局限，并强调了神经正切核变化对带 OGD 的持续学习的重要性。
引用
@article{arxiv.2006.11942,
title = {Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent},
author = {Mehdi Abbana Bennani and Thang Doan and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2006.11942},
year = {2020}
}