基于 Wasserstein 距离的重要抽样成本

重要抽样（Importance Sampling, IS）通过对分布 $f$ 进行偏置来抽样分布 $g$。具体而言，给定来自 $f$ 的样本 $X_i$，IS 测量为 $$\hat{g}_n = \frac{1}{Z_n}\sum_{i=1}^n \frac{g(X_i)}{f(X_i)} \delta_{X_i},$$ 其中 $Z_n = \sum_{i=1}^n \frac{g(X_i)}{f(X_i)}$。随机测量 $\hat{g}_n$ 近似 $g$，广泛用于蒙特卡罗积分到贝叶斯推断等诸多场景。我们表明，在高维（$d \geqslant 3$）情况下，Wasserstein 距离 $W_p^p(\hat{g}_n, g)$ 的期望阶为 $n^{-p/d}$，即 $$\beta^{\mathrm{low}}_{p,d}\int gf^{-p/d}\leqslant \liminf_{n \to \infty} n^{p/d} \mathbb{E}[W_p^p(\hat{g}_n, g)] \leqslant \limsup_{n \to \infty} n^{p/d} \mathbb{E}[W_p^p(\hat{g}_n, g)] \leqslant\beta_{p,d} \int g f^{-p/d}$$ 其中 $0<\beta^{\mathrm{low}}_{p,d}\leqslant \beta_{p,d}$ 为仅依赖于 $p$ 与 $d$ 的常数，$p=2$ 时相等， conjecturally 对任意 $p\geqslant 1$ 亦相等。我们的结果适用于所有 $p\geqslant 1$ 与 $d\geqslant 3$。当 $\beta^{\mathrm{low}}_{p,d} = \beta_{p,d}$ 时，我们指出最优抽样分布 $f^*$ 并非等于 $g$，而是 $g$ 的一个温和版本：$f^* \propto g^{d/(p+d)}$，这类似于 Zador's 定理中的测量量化领域。