神经网络中的灾难性遗忘
机器学习
2025-07-15 v1 信息检索
摘要
灾难性遗忘是阻碍持续学习的主要挑战，即神经网络依次学习多个任务同时保留先前知识的能力。弹性权重Consolidation（EWC）是一种受生物神经系统类比的正则化方法，已用于解决此问题。本研究通过在监督学习环境中使用 PermutedMNIST 和 RotatedMNIST 基准测试评估 EWC，复制并扩展了先前的研究。通过与 L2 正则化和无正则化的随机梯度下降（SGD）进行系统比较，我们分析了不同方法如何在知识保留与适应性之间进行平衡。我们的结果确认了以前研究中的发现，表明 EWC 在不产生遗忘的条件下显著减少遗忘，同时对新任务的学习效率略有牺牲。此外，我们研究了 dropout 正则化和不同超参数的影响，为 EWC 在多样化学习情景中的泛化提供了见解。这些结果凸显了 EWC 作为神经网络终身学习可行解决方案的潜力。
引用
@article{arxiv.2507.10485,
title = {Overcoming catastrophic forgetting in neural networks},
author = {Brandon Shuen Yi Loke and Filippo Quadri and Gabriel Vivanco and Maximilian Casagrande and Saúl Fenollosa},
journal= {arXiv preprint arXiv:2507.10485},
year = {2025}
}
备注
7 pages, 5 figures, EE-411 Fundamentals of inference and learning course project