基于全阶 Rényi 散度度量的随机变量模拟

随机变量模拟问题是指利用分布为 $P_{X}^{k}$ 的 $k$ 维 i.i.d. 随机向量 $X^{k}$ 来模拟分布近似为 $Q_{Y}^{n}$ 的 $n$ 维 i.i.d. 随机向量 $Y^{n}$。与以往工作不同，本文我们考虑标准 Rényi 散度及其两个全阶变体来衡量近似程度。这两个变体是最大 Rényi 散度 $D_{\alpha}^{\mathsf{max}}(P,Q)$ 与和 Rényi 散度 $D_{\alpha}^{+}(P,Q)$。当 $\alpha=\infty$ 时，这两个度量是强的，因为对任意 $\epsilon>0$，$D_{\infty}^{\mathsf{max}}(P,Q)\leq\epsilon$ 或 $D_{\infty}^{+}(P,Q)\leq\epsilon$ 意味着对所有 $x$ 有 $e^{-\epsilon}\leq\frac{P(x)}{Q(x)}\leq e^{\epsilon}$。在这些 Rényi 散度度量下，我们刻画了归一化散度的渐近性以及 Rényi 转换率。后者定义为使 Rényi 散度渐近消失的 $\frac{n}{k}$ 的上确界。此外，当 Rényi 参数位于区间 $(0,1)$ 时，Rényi 转换率等于香农熵之比 $\frac{H\left(P_{X}\right)}{H\left(Q_{Y}\right)}$，这与采用全变差度量的传统结果一致。当 Rényi 参数位于区间 $(1,\infty]$ 时，Rényi 转换率通常小于 $\frac{H\left(P_{X}\right)}{H\left(Q_{Y}\right)}$。当特化到 $P_{X}$ 或 $Q_{Y}$ 为均匀分布的情形时，模拟问题退化为信源可解性与内在随机性问题。前述结果被用于刻画这两种情形下 Rényi 散度的渐近性与 Rényi 转换率。