权重重抽和优化器如何塑造神经网络持续学习与遗忘的动力学
机器学习
2025-07-03 v1 计算机视觉与模式识别
摘要
持续学习领域的最新研究突显了在神经网络最后一层重抽权重（“zapping”）的积极作用尽管经验结果表明这一方法的有效性，但推动这些改进的底层机制仍不清晰。本文详细探讨了在挑战性环境（如持续学习和few-shot迁移学习）下，卷积神经网络在手写字符和自然图像上的学习与遗忘模式。我们的实验表明，接受过 zapping 训练的模型在迁移到新领域时能更快地恢复训练冲击。进一步为更好地观察多任务设置下的持续学习效应，我们测量每个单独任务受到的影响。这表明，除了 zapping 之外，优化器的选择也会深刻影响学习与遗忘的动力学，导致在模型顺序学习期间出现复杂的协同/干扰模式。
引用
@article{arxiv.2507.01559,
title = {How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks},
author = {Lapo Frati and Neil Traft and Jeff Clune and Nick Cheney},
journal= {arXiv preprint arXiv:2507.01559},
year = {2025}
}