量化 Markov chain Monte Carlo 中线性预条件的有效性

我们研究 Markov chain Monte Carlo 中的线性预条件。我们考虑良态分布类，其若干混合时间界取决于条件数 $\kappa$。我们首先证明，存在良态分布，其 $\kappa$ 可以任意大，但没有任何线性预条件器能将其减小。然后我们施加两组额外假设，在此条件下线性预条件器可以显著减小 $\kappa$。对于随机游走 Metropolis，我们进一步给出了具有紧密 $1/\kappa$ 依赖关系的谱隙上下界。这使我们能够给出线性预条件可以可证明地增大谱隙的条件。然后我们研究了流行的预条件器，例如协方差、其对角近似、众数处的 Hessian 以及 QR 分解。我们展示了每种预条件器在何种条件下能将 $\kappa$ 减小至接近其最小值。我们还表明，对角方法实际上可以\textit{增大}条件数。这具有重要意义，因为对角预条件是知名软件包中的默认选择。最后，我们进行了数值研究，比较了不同模型中的预条件器，并展示了适当的预条件如何能大大减少 Hamiltonian Monte Carlo 的计算时间。