生成模型训练中的动力系统视角及记忆现象

Siva Athreya; Chiranjib Bhattacharya; Vivek S. Borkar

生成模型训练中的动力系统视角及记忆现象

机器学习 2026-05-20 v1

作者: Siva Athreya , Chiranjib Bhattacharya , Vivek S. Borkar

摘要

利用作者VSB最近关于生成模型中的坍缩现象以及高维随机梯度下降中双时间尺度动力学的最新研究成果，我们给出对生成模型记忆现象的系统论解释。这完全依赖于训练阶段的动态方面。具体而言，我们利用Austin [2016]的结果来激励对随机梯度下降(SGD)损失函数的简化模型，其中损失函数对某些变量具有强依赖性，而对其余变量则具有弱依赖性。这自然导致常用机器学习中常用的恒定步长SGD中存在两个不同的时间尺度。这一事实已被用于解释Borkar [2026]中SGD的双下降现象。结合Borkar [2025a]中开发的SGD中坍缩现象的数学模型，我们利用Azizian等 [2024]的最新结果分析恒定步长SGD，以解释记忆现象，其中正在调谿的生成模型在长时间内产生相同或相似的输出。这提供了一种新的视角来解释机器学习文献中报告的上述现象及其相互关系，使用动力系统视角。

关键词

生成模型记忆现象随机梯度下降动力系统双下降

引用

@article{arxiv.2605.19483,
  title  = {Adynamical systems view of training generativemodels and the memorization phenomenon},
  author = {Siva Athreya and Chiranjib Bhattacharya and Vivek S. Borkar},
  journal= {arXiv preprint arXiv:2605.19483},
  year   = {2026}
}

备注

12 pages

生成模型训练中的动力系统视角及记忆现象

摘要

关键词

引用

备注

相关论文