Bit-Swap：用于具有层次化潜变量无损压缩的递归 Bits-Back 编码
机器学习
2019-10-03 v4 人工智能
信息论
math.IT
统计计算
机器学习
摘要
bits-back 论点表明，潜变量模型可以转化为无损压缩方案。然而，将 bits-back 论点转化为适用于一般潜变量模型的高效且实用的无损压缩方案，仍然是一个开放问题。Townsend 等人（2019）最近提出的 Bits-Back with Asymmetric Numeral Systems（BB-ANS）使 bits-back 编码对于具有单层潜变量的潜变量模型在实践中可行，但对于层次化潜变量模型效率低下。在本文中，我们提出 Bit-Swap，一种推广 BB-ANS 并在具有马尔可夫链结构的层次化潜变量模型上取得严格更优压缩率的新压缩方案。通过实验我们验证了 Bit-Swap 产生的无损压缩率在实践中优于现有技术。我们的实现可在 https://github.com/fhkingma/bitswap 获取。
引用
@article{arxiv.1905.06845,
title = {Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables},
author = {Friso H. Kingma and Pieter Abbeel and Jonathan Ho},
journal= {arXiv preprint arXiv:1905.06845},
year = {2019}
}
备注
Accepted to ICML 2019