通过谱正则化进行持续学习
机器学习
2024-10-29 v2
摘要
网络在学习过程中变得更难训练的现象称为塌缩性。持续学习算法通过维持网络可训练性来缓解此效应。我们发展了一种新的持续学习技术，灵感来自于观察：神经网络参数在初始化时的奇异值是学习早期阶段可训练性的重要因素。从这一角度出发，我们推导了一种新的谱正则化方法，用于持续学习，以更好地维持这些有益的初始化属性。具体而言，正则化器保持每层最大奇异值接近 1。谱正则化直接确保在训练期间保持梯度多样性，从而促进持续可训练性，同时最小化对单一任务性能的干扰。我们进行的实验分析显示，所提出的谱正则化器可以在持续监督学习和强化学习设置下的多种模型架构中维持可训练性和性能。谱正则化对超参数更不敏感，表现更好：在单个任务中实现更好的训练，随着新任务的到达维持可训练性，并实现更好的泛化性能。
引用
@article{arxiv.2406.06811,
title = {Learning Continually by Spectral Regularization},
author = {Alex Lewandowski and Michał Bortkiewicz and Saurabh Kumar and András György and Dale Schuurmans and Mateusz Ostaszewski and Marlos C. Machado},
journal= {arXiv preprint arXiv:2406.06811},
year = {2024}
}