封闭环学习中的生成模型热亡
机器学习
2024-08-30 v2 系统与控制
系统与控制
最优化与控制
摘要
生成式机器学习模型的改进和采纳正在快速加速， exemplified by LLMs（大型语言模型）用于文本，以及扩散模型用于图像生成。随着生成式模型的普及，他们生成的数据被整合到通过公共网络获取的内容中。这引出了一个问题：当模型生成的数据被反馈到后续训练周期中时，会发生什么？这是一个关于训练过程稳定性的问题，即公众可获取的内容分布（我们称为“知识”）是否保持稳定或崩溃。文献中报道的小规模实证实验表明，这种封闭环训练过程容易退化。模型可能开始产生胡说八道的数据，或仅从所需数据分布的小子集中进行采样（一种被称为模式崩溃的现象）。迄今为止，对这一过程只有有限的理论理解，部分原因是深层网络的复杂性。本文旨在通过研究生成式模型的学习动力学，这些模型除了原始训练数据集外，还会接收自身生成的内容来学习，从而为这一过程（我们称为“生成式封闭环学习”）提供见解。通过对许多此类模型的采样可以通过“温度”参数进行控制。我们使用动力系统工具表明，除非在每个迭代中引入足够的外部数据，否则任何非平凡的温度都会导致模型渐近退化。事实上，生成分布要么会退化为少数输出，要么会对大量输出集合均匀采样。
引用
@article{arxiv.2404.02325,
title = {Heat Death of Generative Models in Closed-Loop Learning},
author = {Matteo Marchi and Stefano Soatto and Pratik Chaudhari and Paulo Tabuada},
journal= {arXiv preprint arXiv:2404.02325},
year = {2024}
}