精选合成数据不必坍缩：基于多样化偏好的生成式再训练理论研究
机器学习
2026-05-11 v1 人工智能
摘要
生成式模型的递归再训练提出了一个关键的表示挑战：当合成输出基于固定奖励信号进行精选时，模型倾向于坍缩到仅优化该目标的窄小输出集合。先前的工作表明，这种坍缩在没有加入真实数据的情况下是不可避免的。我们从对齐视角重新审视这一结论，表明通过基于多个奖励函数进行精选可缓解坍缩。我们形式化了在异构偏好下的递归训练动力学，并证明，在 certain 条件下，模型收敛于一种稳定分布，该分布在分配高奖励区域概率质量方面满足多样化偏好。限定分布保留了多样性，并可证明满足加权纳什博弈解，为合成再训练循环中的价值聚合提供了形式解释。
引用
@article{arxiv.2605.07724,
title = {Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences},
author = {Ali Falahati and Mohammad Mohammadi Amiri and Kate Larson and Lukasz Golab},
journal= {arXiv preprint arXiv:2605.07724},
year = {2026}
}
备注
Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026