用于持续学习的Fisher正交投影自然梯度下降
机器学习
2026-01-27 v2 人工智能
摘要
持续学习旨在使神经网络能够在顺序任务上获取新知识。然而，在这种设置下的关键挑战是在学习新任务的同时，不会灾难性地遗忘先前学过的任务。我们提出了Fisher正交投影自然梯度下降（FOPNG）优化器，该优化器对参数更新施加Fisher正交约束，以在学习新任务的同时保留旧任务的性能。与在欧几里得参数空间中运行的现有方法不同，FOPNG将梯度投影到先前任务梯度的Fisher正交补上。该方法在信息几何框架内统一了自然梯度下降与正交梯度方法。我们提供了推导投影更新的理论分析，描述了使用对角Fisher矩阵的高效实用实现，并在标准持续学习基准（如Permuted-MNIST、Split-MNIST、Rotated-MNIST、Split-CIFAR10和Split-CIFAR100）上展示了强劲的结果。我们的代码可在https://github.com/ishirgarg/FOPNG获取。
关键词
引用
@article{arxiv.2601.12816,
title = {Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning},
author = {Ishir Garg and Neel Kolhe and Andy Peng and Rohan Gopalam},
journal= {arXiv preprint arXiv:2601.12816},
year = {2026}
}