从坍塌到改善：关于迭代训练在污染来源上的演化动力学的统计视角
机器学习
2026-02-19 v2 机器学习
统计理论
统计理论
摘要
模型坍塌问题在生成模型的迭代训练中 presents new 挑战，其中此类训练使用合成数据会导致整体性能下降。本文从统计视角审视此问题，说明只要存在来自真实目标分布的一些新鲜信息，就有望在来源受污染的数据上实现改善。具体而言，我们考虑对来源于真实目标分布与合成分布混合样本进行迭代训练。我们分析了整个迭代演化过程，揭示了混合权重与样本大小之间的相互作用如何控制长期性能。在具备非平凡混合权重的情况下，即使该权重随时间衰减，仅以适当样本大小进行不考虑污染的训练即可避免坍塌并在满足 certain 条件下恢复真实目标分布。仿真研究支持我们的发现，也表明此类行为对其他模型类别更为普遍。
引用
@article{arxiv.2602.10531,
title = {From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources},
author = {Soham Bakshi and Sunrit Chakraborty},
journal= {arXiv preprint arXiv:2602.10531},
year = {2026}
}