从统计力学视角考察高斯混合模型与非参数似然函数

本文从统计力学的视角探讨了高斯混合模型（GMM）及其相关的非参数最大似然估计（NPMLE）问题。特别是，我们为 NPMLE 程序提供了稳定性保证，这些保证超越了当前文献中已知的水平。关键的是，我们获得了 NPMLE 估计器与真实值之间克隆-莫克尔（Kullback-Leibler）散度的保证，这类结果在该问题文献中一直备受挑战。具体而言，我们对 NPMLE 与真实密度之间的 KL 散度给出高概率上界，上界形式为 $\min\big\{\frac{(\log n)^{d+2}}{n} , \frac{\log n}{\sqrt n}\big\}$，涵盖了 $n$ 与 $d$ 大小比较的广泛情形。我们还为近似解提供了类似的保证，考虑到在实际情况下需要在有限时间内停止优化算法，只能获得对真实 NPMLE 的近似值。我们方法的技术基石是分析高斯混合密度对数 logarithm 的函数类复杂度，能够处理其无界性，可能对更广泛的领域具有兴趣。我们还在 NPMLE 问题中的稳定现象与统计力学模型中混沌现象以及随机能量景观中多谷现象之间建立了对应关系。我们认为，这些对应关系可能对统计与机器学习中各种随机优化问题都有所帮助，尤其是与这些模型的浓度现象和 Langevin 动力学技术要素之间的联系。