在线持续学习中多阶段牛顿迭代算法的统计理论
统计方法学
2025-08-12 v1 机器学习
摘要
我们聚焦于在线持续学习环境中处理非平稳数据流的关键挑战，其中有限的存储容量阻碍了历史数据的完整保留，导致在序列任务训练过程中出现灾难性遗忘。为了更有效地分析和解决持续学习中的灾难性遗忘问题，我们从统计视角提出了一种新颖的持续学习框架。我们的方法在所有模型参数中引入了随机效应，并允许参数维度发散至无穷大，为持续学习问题提供了一个通用的表述。为了高效处理流数据，我们开发了一种多步牛顿迭代算法，该算法通过减轻矩阵求逆的负担，在某些场景下显著降低了计算成本。在理论上，我们推导出了估计量的渐近正态性，从而支持后续的统计推断。通过合成数据实验和两个真实数据集分析的综合验证，证明了我们所提方法的有效性。
引用
@article{arxiv.2508.07419,
title = {Statistical Theory of Multi-stage Newton Iteration Algorithm for Online Continual Learning},
author = {Xinjia Lu and Chuhan Wang and Qian Zhao and Lixing Zhu and Xuehu Zhu},
journal= {arXiv preprint arXiv:2508.07419},
year = {2025}
}