基于不确定性的自适应正则化持续学习
机器学习
2019-11-15 v3 机器学习
摘要
我们提出一种新的基于神经网络的持续学习算法，称为不确定性正则化持续学习（Uncertainty-regularized Continual Learning, UCL），其构建于带有变分推断的传统贝叶斯在线学习框架之上。我们关注近期提出的基于正则化方法的两种显著缺陷：a) 确定逐权重正则化强度所需的大量额外内存开销；b) 缺乏优雅遗忘机制，而无法防止学习新任务时的性能退化。本文中，我们展示 UCL 可通过将对高斯平均场近似的变分下界中 Kullback-Leibler（KL）散度项的新颖解释来解决这两个问题。基于该解释，我们提出节点级不确定性的概念，其大幅减少了实现逐权重正则化所需的额外参数数量。此外，我们设计两个额外的正则化项，通过冻结过往任务的重要参数来确保稳定性，并通过控制新任务中主动学习的参数来允许可塑性。通过大量实验，我们表明 UCL 不仅在流行的监督学习基准上，也在具挑战性的终身强化学习任务上，令人信服地优于多数近期最先进的基线。我们的算法源代码可在 https://github.com/csm9493/UCL 获取。
引用
@article{arxiv.1905.11614,
title = {Uncertainty-based Continual Learning with Adaptive Regularization},
author = {Hongjoon Ahn and Sungmin Cha and Donggyu Lee and Taesup Moon},
journal= {arXiv preprint arXiv:1905.11614},
year = {2019}
}
备注
10 pages (including Supplementary Materials), Neurips 2019 camera ready version