面向持续学习的步长优化
机器学习
2024-02-01 v1 人工智能
摘要
在持续学习中，学习器必须在其整个生命周期内不断从数据中学习。一个关键问题是决定保留哪些知识以及舍弃哪些知识。在神经网络中，这可以通过使用步长向量来缩放梯度样本对网络权重的改变程度来实现。常见算法，如RMSProp和Adam，使用启发式方法（特别是归一化）来调整此步长向量。在本文中，我们表明这些启发式方法忽略了其调整对整体目标函数的影响，例如，使步长向量偏离更好的步长向量。另一方面，像IDBD（Sutton, 1992）这样的随机元梯度下降算法，则明确地针对整体目标函数来优化步长向量。在简单问题上，我们展示了IDBD能够持续改进步长向量，而RMSProp和Adam则不能。我们解释了这两种方法之间的差异及其各自的局限性。最后，我们建议将这两种方法结合起来，这可能是提高神经网络在持续学习中性能的一个有前景的未来方向。
引用
@article{arxiv.2401.17401,
title = {Step-size Optimization for Continual Learning},
author = {Thomas Degris and Khurram Javed and Arsalan Sharifnassab and Yuxin Liu and Richard Sutton},
journal= {arXiv preprint arXiv:2401.17401},
year = {2024}
}