基于Fisher正则化的自适应方差惩罚持续学习
机器学习
2025-08-26 v1 人工智能
摘要
神经网络中持续性遗忘的挑战激励了广泛的持续学习研究。本工作提出了一种新的持续学习框架，将Fisher加权的非对称参数方差正则化集成到变分学习范式中。该方法根据参数不确定性动态调节正则化强度，实现更好的稳定性和性能。在包括SplitMNIST、PermutedMNIST和SplitFashionMNIST在内的标准持续学习基准测试上进行了全面评估，结果表明该方法在Variational Continual Learning和弹性权重整合等现有方法之上实现了显著的改进。非对称方差惩罚机制在保持跨顺序任务知识方面尤其有效，同时提高了模型准确率。实验结果表明，我们的方法不仅提升了即时任务性能，而且显著减缓了随时间推移的知识退化，有效地解决了神经网络中不可避免遗忘的根本挑战。
引用
@article{arxiv.2508.16632,
title = {Adaptive Variance-Penalized Continual Learning with Fisher Regularization},
author = {Krisanu Sarkar},
journal= {arXiv preprint arXiv:2508.16632},
year = {2025}
}