用于顺序鲁棒持续学习的 Hessian 感知低秩扰动
机器学习
2024-09-24 v5 人工智能
摘要
持续学习旨在顺序学习一系列任务而不遗忘先前任务所获得的知识。本文中，我们提出用于持续学习的 Hessian 感知低秩扰动算法。通过对顺序任务间参数转移进行权重矩阵变换建模，我们提出对神经网络各层中任务自适应参数施加低秩近似。具体而言，我们从理论上证明了 Hessian 与所提低秩近似之间的定量关系。随后，根据由层特定梯度和低秩近似误差估计的经验损失边际增量，全局确定近似秩。此外，我们通过剪枝较不重要的参数来控制模型容量，以减少参数增长。我们在包括大规模任务数据集在内的多种基准上进行了广泛实验，并将我们的方法与一些近期最先进方法比较，以证明所提方法的有效性和可扩展性。实证结果表明，我们的方法在不同基准上表现更优，尤其在实现任务顺序鲁棒性和处理遗忘问题上。源代码见 https://github.com/lijiaqi/HALRP。
引用
@article{arxiv.2311.15161,
title = {Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning},
author = {Jiaqi Li and Yuanhao Lai and Rui Wang and Changjian Shui and Sabyasachi Sahoo and Charles X. Ling and Shichun Yang and Boyu Wang and Christian Gagné and Fan Zhou},
journal= {arXiv preprint arXiv:2311.15161},
year = {2024}
}
备注
Accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)