中文

关于因果拒绝采样器的信道模拟

信息论 2024-05-07 v2 math.IT

摘要

单次信道模拟最近已成为机器学习有损数据压缩方案中量化和熵编码的一个有前景的替代方案。然而,尽管信道模拟有几种潜在应用——例如具有真实性约束的有损压缩或差分隐私——但其基本局限性却鲜为人知。在本文中,我们将注意力限制在称为因果拒绝采样器(CRS)的一类信道模拟协议上,为其期望运行时间和码长建立了新的、更紧的下界,并证明了这些界的可达性。具体而言,对于任意CRS,令 QQPP 表示作为输入提供的目标分布和建议分布,并令 KK 为算法检查的样本数。我们证明,任何CRS的期望运行时间 E[K]\mathbb{E}[K] 至少以 exp2(D[QP])\exp_2(D_\infty[Q || P]) 的比例缩放,其中 D[QP]D_\infty[Q || P] 是R\'enyi \infty-散度。关于码长,我们证明 DKL[QP]DCS[QP]H[K]D_{KL}[Q || P] \leq D_{CS}[Q || P] \leq \mathbb{H}[K],其中 DCS[QP]D_{CS}[Q || P] 是我们称之为信道模拟散度的新量。此外,我们证明我们的新下界,与 DKL[QP]D_{KL}[Q || P] 下界不同,是紧可达的,即存在一个CRS使得 H[K]DCS[QP]+log2(e+1)\mathbb{H}[K] \leq D_{CS}[Q || P] + \log_2 (e + 1)。最后,我们对高斯和拉普拉斯信道模拟算法的码长渐近缩放进行了数值研究。

关键词

引用

@article{arxiv.2401.16579,
  title  = {On Channel Simulation with Causal Rejection Samplers},
  author = {Daniel Goc and Gergely Flamich},
  journal= {arXiv preprint arXiv:2401.16579},
  year   = {2024}
}

备注

Accepted to IEEE ISIT 2024, camera-ready version. 11 pages, 1 figure