通过去量化学习离散分布
机器学习
2020-01-31 v1 机器学习
摘要
媒体通常以数字形式存储，因此是离散的。深度学习中许多成功的深度分布模型学习的是密度，即连续随机变量的分布。对离散数据的朴素优化会导致任意高的似然值，因此向数据点添加噪声已成为标准做法。本文提出一个通用去量化框架，将现有方法作为特例涵盖其中。我们推导了两个新的去量化目标：重要性加权（iw）去量化与 Rényi 去量化。此外，我们引入自回归去量化（ARD）以获得更灵活的去量化分布。经验上我们发现，对于均匀去量化分布，iw 与 Rényi 去量化显著提升了性能。ARD 在 CIFAR10 上取得了每维度 3.06 bits 的负对数似然，据我们所知，这在无需自回归逆运算即可采样的分布模型中处于最优（SOTA）。
引用
@article{arxiv.2001.11235,
title = {Learning Discrete Distributions by Dequantization},
author = {Emiel Hoogeboom and Taco S. Cohen and Jakub M. Tomczak},
journal= {arXiv preprint arXiv:2001.11235},
year = {2020}
}