从极小极大最优重要性采样到一致遍历的重要性-温度MCMC

我们对重要性采样方案的使用做出了两项密切相关的理论贡献。首先，对于独立采样，我们证明了极小极大最优试验分布与目标分布重合，当且仅当目标分布没有概率大于$1/2$的原子时，其中“极小极大”意味着自归一化重要性采样估计量的最坏情况渐近方差被最小化。当存在大原子时，试验分布应对其进行降权。类似的现象也适用于集中在小集合上的连续目标分布。其次，我们认为使用具有温度调节的平稳分布$\pi(x)^\beta$运行Metropolis-Hastings算法，并通过重要性加权校正偏差通常是有利的。这种“重要性-温度”采样方案的动力学可以用连续时间马尔可夫链来描述。我们证明，对于具有多项式尾部$\pi(x) \propto (1 + |x|)^{-\gamma}$的一维目标分布，当且仅当$1/\gamma < \beta < (\gamma - 2)/\gamma$时，该链是一致遍历的。这些结果表明，对于具有轻尾或阶数$\gamma > 3$的多项式尾部的目标分布，重要性温度调节可以提高时间平均估计量的精度，并在很大程度上消除对预烧期的需求。