自适应贪婪拒绝采样

我们考虑两个通信方 Alice 和 Bob 之间的信道模拟协议。首先，Alice 接收一个 Bob 未知的目标分布 $Q$。然后，她利用共享编码分布 $P$ 向 Bob 发送最少量的信息，使他能模拟单个样本 $X \sim Q$。对于离散分布，Harsha 等人（2009）提出了一种著名的信道模拟协议——贪婪拒绝采样（GRS）——其期望码长上界为 ${D_{KL}[Q \,\Vert\, P] + 2\ln(D_{KL}[Q \,\Vert\, P] + 1) + \mathcal{O}(1)}$。本文将 GRS 的定义推广到一般概率空间，并允许其在每一步后调整提议分布。我们称这一新过程为自适应 GRS（AGRS）并证明其正确性。此外，我们证明了一个令人惊讶的结果：GRS 的期望运行时间恰为 $\exp(D_\infty[Q \,\Vert\, P])$，其中 $D_\infty[Q \,\Vert\, P]$ 表示 Rényl $\infty$-散度。我们随后将 AGRS 应用于高斯信道模拟问题。我们表明 GRS 在目标分布上平均时期望运行时间为无穷，并提出了一种以编码代价轻微增加换取有限运行时间的解决方案。最后，我们描述了一种受混合编码启发的针对一维高斯信道的 AGRS 具体实例。我们猜想并在经验上证明，此情况下 AGRS 的运行时间为 $\mathcal{O}(D_{KL}[Q \,\Vert\, P])$。