能量基模型中的分布简单偏差与有效凸性

能量基学习是生成建模的强大框架，但其训练本质上是非凸的，可能导致对初始值的敏感、差的局部最优点以及不稳定的梯度动力学。我们通过有效模型的视角对能量学习进行动力学分析，该模型可解释为具有更高阶相互作用的广义 Ising 模型或能量的傅里叶展开。在充分的表达性假设下，我们表明由学习严格正分布的梯度流包含两种固定点：数据一致点——精确再现目标分布——以及虚构点——满足定性而不匹配目标分布。围绕数据一致点，我们表明扰动要么是稳定的，要么是中性的，中性方向不影响有效模型。最后，我们表明梯度动力学导致较低阶相互作用先于较高阶相互作用被学习。这提供了分布简单偏差的机制解释，阐明了为何在低阶不数据一致的固定点在实践中不被观察到。