通过蒙特卡洛比特回溯编码提升无损压缩率
机器学习
2021-06-16 v2 人工智能
信息论
math.IT
统计计算
摘要
潜变量模型已通过比特回溯编码算法成功应用于无损压缩。然而，比特回溯会因近似后验与真实后验之间的 KL 散度而导致比特率增加。在本文中，我们展示了如何通过从更紧的变分界推导比特回溯编码算法来渐近地消除这一差距。其核心思想是利用边际似然的蒙特卡洛估计的扩展空间表示。若直接应用，我们的方案将比标准比特回溯编码器需要更多的初始比特，但我们展示了如何通过潜空间中的耦合大幅降低这一额外代价。当可利用并行架构时，我们的编码器能以极小的额外代价实现优于比特回溯的码率。我们在多种场景下展示了改进的无损压缩率，尤其是在分布外或序列数据压缩中。
引用
@article{arxiv.2102.11086,
title = {Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding},
author = {Yangjun Ruan and Karen Ullrich and Daniel Severo and James Townsend and Ashish Khisti and Arnaud Doucet and Alireza Makhzani and Chris J. Maddison},
journal= {arXiv preprint arXiv:2102.11086},
year = {2021}
}