非独立同分布数据的持续学习全局收敛性
机器学习
2025-03-25 v1
摘要
持续学习旨在顺序学习多个任务，已引起广泛关注。然而，大多数现有工作关注经验性研究，理论方面仍受到忽视。最近，一些研究仅针对线性回归进行理论分析，基于严格的独立同分布（i.i.d.）假设以及对特征数据进行持久激励，这在实际中难以验证或保证。为克服这一根本性限制，本文提供了对回归模型持续学习的通用和全面的理论分析。通过利用随机Lyapunov函数和鞅估计技术，我们首次在一般数据条件下建立了持续学习的几乎sure收敛结果。此外，在不对数据施加任何激励条件的情况下，提供了关于遗忘和后悔指标的收敛速率。
关键词
引用
@article{arxiv.2503.18511,
title = {Global Convergence of Continual Learning on Non-IID Data},
author = {Fei Zhu and Yujing Liu and Wenzhuo Liu and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2503.18511},
year = {2025}
}
备注
We establish the almost sure convergence results of continual learning under a general data condition