单高斯分布的过参数化得分匹配收敛动力学

得分匹配已成为现代生成模型中核心的训练目标，尤其是在扩散模型中，用于通过估计得分函数来学习高维数据分布。尽管其在实践中取得了成功，但对于过参数化情形下得分匹配优化行为的理论理解仍有限。本文研究用于学习单个高斯分布的梯度下降。在该工作中，我们使用包含 $n$ 个可学习参数的学生模型，并针对由单个真实高斯分布生成的数据采用 population score matching 目标进行训练。我们在多个情形下分析优化动力学。当噪声尺度足够大时，我们证明了梯度下降的全局收敛结果。在低噪声情形下，我们识别出稳定点的存在，突显了在该情形下证明全局收敛的困难性。尽管如此，我们展示在特定初始化条件下进行收敛：当参数初始化为指数级小值时，梯度下降确保所有参数收敛至真实值。我们进一步证明，在没有指数级小初始化情况下，参数可能不会收敛至真实值。最后，我们考虑参数从远离真实值的高斯分布随机初始化的情况。我们证明在高概率下，只有一个参数收敛，而其他参数发散，但损失仍以 $1/\tau$ 速率收敛到零，其中 $\tau$ 为迭代次数。我们还在该情形下建立了收敛速率的接近下界。这项工作是首个在得分匹配框架下，对具有至少三个分量的高斯混合建立全局收敛保证。