为何神经网络会遗忘：关于持续学习中崩溃的研究
机器学习
2026-03-06 v1 人工智能
摘要
灾难性遗忘是持续学习中的主要问题，许多方法都试图减轻它。然而，这些方法大多通过任务准确率进行评估，忽略了内部模型结构。近期研究表明，结构崩溃导致塑性丧失，表现为有效秩（eRank）的变化。这表明存在与遗忘的关联，因为网络失去扩展特征空间以学习新任务的能力，迫使网络覆盖现有表征。因此，本研究通过测量权重和激活eRank来探讨遗忘与崩溃之间的相关性。具体而言，我们在split MNIST和Split CIFAR-100基准测试中评估了四种网络架构，包括MLP、ConvGRU、ResNet-18和Bi-ConvGRU。这些模型分别通过SGD、Learning-without-Forgetting（LwF）和Experience Replay（ER）策略训练。结果表明，遗忘与崩溃存在强相关关系，不同的持续学习策略在不同的效率下帮助模型保留容量和性能。
引用
@article{arxiv.2603.04580,
title = {Why Do Neural Networks Forget: A Study of Collapse in Continual Learning},
author = {Yunqin Zhu and Jun Jin},
journal= {arXiv preprint arXiv:2603.04580},
year = {2026}
}