基于泰勒展开近似的高效元学习持续学习算法
机器学习
2022-10-04 v1
摘要
持续学习旨在缓解在非平稳分布下处理连续任务时的灾难性遗忘。基于梯度的元学习算法已展现出隐式解决不同样本间迁移-干扰权衡问题的能力。然而,在持续学习设定中,由于先前任务的历史数据不再可用,它们仍受灾难性遗忘问题困扰。本工作中,我们提出一种新颖的高效元学习算法来解决在线持续学习问题,其中正则化项和学习率自适应于参数重要性的泰勒近似以缓解遗忘。所提方法以闭式表达元损失梯度,从而避免了计算计算上难以承受的二阶导。我们还使用近端梯度下降来进一步提高计算效率和精度。在多个基准上的实验表明,与最先进方法相比,我们的方法取得了更优或相当的性能和更高的效率。
引用
@article{arxiv.2210.00713,
title = {Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation},
author = {Xiaohan Zou and Tong Lin},
journal= {arXiv preprint arXiv:2210.00713},
year = {2022}
}
备注
Accepted by the 2022 International Joint Conference on Neural Networks (IJCNN 2022)