迭代反馈循环的马尔可夫视角：神经共振与模型坍缩
机器学习
2026-02-24 v1 人工智能
计算机视觉与模式识别
摘要
AI 训练数据集必然包含 AI 生成的示例，导致一种反馈，即一个模型的输出影响另一个模型的训练。人们已知此类迭代反馈可能导致模型坍缩，但其导致退化的机制仍鲜有了解。本文表明，广泛的反馈过程收敛于潜在空间中的低维不变结构，一种我们称之为神经共振的现象。通过将迭代反馈建模为马尔可夫链，我们表明发生这种共振所需两个条件：反馈过程的 ergodicity（可遍历性）和潜在表示的方向收缩。通过研究 MNIST 和 ImageNet 上的扩散模型，以及 CycleGAN 和音频反馈实验，我们描绘了局部与全局流形几何如何演化，并引入了坍缩行为的八模式分类法。神经共振为生成模型的长期退化行为提供了统一解释，为识别、特征化以及最终缓解坍缩提供了实用诊断方法。
引用
@article{arxiv.2602.19033,
title = {A Markovian View of Iterative-Feedback Loops in Image Generative Models: Neural Resonance and Model Collapse},
author = {Vibhas Kumar Vats and David J. Crandall and Samuel Goree},
journal= {arXiv preprint arXiv:2602.19033},
year = {2026}
}
备注
A preprint -- Under review