从有序到分布：在持续学习中的遗忘谱特征
机器学习
2026-04-16 v1 人工智能
摘要
持续学习的核心挑战之一是遗忘，即由于对新任务的顺序适应而导致对以前学习任务性能下降的现象。虽然遗忘已广泛进行经验性研究，但严格的理论表征仍有限。一个重要进展是\citet{evron2022catastrophic}对固定任务集合在随机排序下的遗忘进行分析，聚焦于过参数化线性回归。我们转变视角，从排序转向分布。不再询问固定任务集合在随机排序下的行为，而是研究任务从分布中独立抽样的情形，探讨生成分布本身如何决定遗忘。本文推导了遗忘量的精确算子等式，揭示其递归谱结构。基于该等式，我们建立了无条件上界，识别了主导渐近项，并在一般非退化情况下， characterize 收敛速率常数。我们进一步将该速率与任务分布的几何性质相关联，阐明了何种条件导致缓慢或快速遗忘。
引用
@article{arxiv.2604.13460,
title = {From Order to Distribution: A Spectral Characterization of Forgetting in Continual Learning},
author = {Zonghuan Xu and Xingjun Ma},
journal= {arXiv preprint arXiv:2604.13460},
year = {2026}
}