理解持续学习中模型容量动态性的研究
机器学习
2025-08-15 v2 人工智能
摘要
稳定性-可塑性困境与神经网络 (NN) 的容量（即其表示任务的能力）密切相关，是持续学习 (CL) 中的一个基本挑战。在此背景下，我们引入了持续学习的有效模型容量 (CLEMC)，它刻画了稳定性-可塑性平衡点的动态行为。我们建立了一个差分方程来模拟神经网络、任务数据和优化过程之间相互作用的演化。然后，我们利用 CLEMC 证明，有效容量——进而稳定性-可塑性平衡点——本质上是非平稳的。我们表明，无论神经网络架构或优化方法如何，当传入的任务分布与先前不同时，神经网络表示新任务的能力都会下降。我们进行了广泛的实验来支持我们的理论发现，实验涵盖了一系列架构——从小型前馈网络和卷积网络到中型图神经网络以及具有数百万参数的基于Transformer的大型语言模型。
引用
@article{arxiv.2508.08052,
title = {On Understanding of the Dynamics of Model Capacity in Continual Learning},
author = {Supriyo Chakraborty and Krishnan Raghavan},
journal= {arXiv preprint arXiv:2508.08052},
year = {2025}
}