过参数化情形下随机正交变换任务灾难性遗忘的分析
机器学习
2022-07-15 v1 人工智能
机器学习
摘要
过参数化已知可在神经网络中带来强大的泛化性能。在这项工作中，我们对其在持续学习设定下对灾难性遗忘的影响提供了初步理论分析。我们通过实验表明，在置换MNIST图像分类任务中，由朴素随机梯度下降训练的多层感知机的泛化性能可通过过参数化得到提升，且过参数化所带来的性能提升幅度可与最先进的持续学习算法相媲美。我们通过研究一个性质上相似的两任务线性回归问题对此效应提供理论解释，其中每个任务通过随机正交变换相关联。我们表明，当一个模型在无任何额外正则化的情况下依次训练两个任务时，若模型充分过参数化，则第一任务上的风险增益很小。
引用
@article{arxiv.2207.06475,
title = {Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime},
author = {Daniel Goldfarb and Paul Hand},
journal= {arXiv preprint arXiv:2207.06475},
year = {2022}
}