协同演化生成模型的收敛动力学与稳定化策略

合成数据在训练循环中日益普遍，引发了对模型崩溃的担忧，即生成模型在自身输出上进行训练时会发生退化。以往的工作主要关注这种自我消耗过程，而我们研究了一个尚未充分探索但普遍存在的现象：通过迭代反馈相互塑造彼此训练的协同演化生成模型。这在多模态 AI 生态系统中很常见，例如在社交媒体平台上，文本模型生成指导图像模型的说明文字，而生成的图像又影响文本模型的未来适应。我们迈出了分析此类系统的第一步，将文本模型建模为多项式分布，将图像模型建模为条件多维高斯分布。我们的分析揭示了三个关键结果。首先，当一个模型保持固定时，另一个模型会发生崩溃：冻结的图像模型会导致文本模型失去多样性，而冻结的文本模型会导致图像多样性的指数级收缩，尽管保真度仍然有界。其次，在完全交互的系统中，相互强化会加速崩溃，图像收缩放大了文本同质化，反之亦然，导致马太效应，即占主导地位的文本维持更高的图像多样性，而较罕见的文本崩溃得更快。第三，我们分析了现实世界外部影响隐式引入的稳定化策略。针对文本模型的随机语料库注入和针对图像模型的用户内容注入可以防止崩溃，同时保持多样性和保真度。我们的理论发现通过实验得到了进一步验证。