基于效用的扰动梯度下降：一种用于持续学习的优化器
机器学习
2023-04-28 v2 人工智能
摘要
现代表示学习方法在非平稳环境下往往难以快速适应，因为它们会遭受灾难性遗忘和可塑性衰减。这些问题阻碍了学习器的快速适应，因为它们可能遗忘有用的特征或难以学习新特征。因此，这些方法对持续学习是无效的。本文提出了基于效用的扰动梯度下降（UPGD），一种非常适合持续学习智能体的在线学习算法。UPGD 保护有用的权重或特征免遭遗忘，并根据其效用对不太有用的权重或特征进行扰动。我们的实证结果表明，UPGD 有助于减少遗忘并维持可塑性，使现代表示学习方法能够在持续学习中有效工作。
引用
@article{arxiv.2302.03281,
title = {Utility-based Perturbed Gradient Descent: An Optimizer for Continual Learning},
author = {Mohamed Elsayed and A. Rupam Mahmood},
journal= {arXiv preprint arXiv:2302.03281},
year = {2023}
}