解决 Langevin 算法到对数凹采样平稳分布混合时间的问题

从高维分布中采样是统计学、工程和科学中的一项基本任务。一种典型方法是 Langevin 算法，即离散化 Langevin 扩散的马尔可夫链。这是梯度下降在采样上的对应方法。尽管多个领域对其已研究数十年，但即使在对有界域上对数凹分布这一看似简单的设定下，该算法的紧混合界仍未被解决。本文在此设定（及其他设定）下完整刻画了 Langevin 算法到其平稳分布的混合时间。该混合结果可与任何离散化偏差的界结合，从而从连续 Langevin 扩散的平稳分布中采样。借此，我们将 Langevin 算法的混合与偏差研究解耦。我们的关键洞见是将差分隐私文献中的一种技术引入采样文献。该技术称为迭代隐私放大（Privacy Amplification by Iteration），使用一种通过最优传输平滑而具备几何感知的 Rényi 散度变体作为势函数。这给出了最优混合界的简短而简单的证明，并具有若干额外优良性质。首先，我们的方法去除了其他采样分析所需的所有不必要假设。其次，我们的方法统一了多种设定：若 Langevin 算法使用投影、随机小批量梯度或强凸势（此时我们的混合时间呈指数级改善），该方法不经修改即可推广。第三，我们的方法仅通过梯度步的收缩性来利用凸性——类似于凸性在教科书式梯度下降证明中的使用方式。由此，我们为进一步统一优化与采样算法的分析提供了新途径。