采样近似低秩伊辛模型：MCMC 遇见变分方法

我们考虑超立方体上交互矩阵 $J$ 一般的伊辛模型，并给出当 $J$ 除 $O(1)$ 个特征值外所有特征值均位于长度为 1 的区间内时的多项式时间采样算法，这种情况出现在许多感兴趣的模型中。此前对于 Glauber 动力学，已知当*所有*特征值都落在长度为 1 的区间内时成立；然而，单个离群值可能迫使 Glauber 动力学缓慢混合。我们的一般结果意味着首个针对低秩伊辛模型（如具有固定数量模式的 Hopfield 网络以及具有低维上下文的贝叶斯聚类模型）的多项式时间采样算法，并极大改进了扩展图上的反铁磁/铁磁伊辛模型在不一致场下的多项式时间采样范围。它也改进了变分方法和统计物理中基于朴素平均场近似的先前近似算法结果。我们的方法基于来自 MCMC 和变分推断领域思想的新融合。作为我们算法的一部分，我们定义了一个新的非凸变分问题，允许我们从由负定二次型对分布进行指数重加权后的分布中采样，并展示如何使用随机梯度下降使该过程可证明高效。在此基础上，我们构建了一条新的模拟回火链（位于由 Hubbard-Stratonovich 变换产生的扩展状态空间上），克服了大正特征值带来的障碍，并将其与基于 SGD 的采样器结合以解决完整问题。