缩小去量化差距：作为单层流的 PixelCNN
机器学习
2020-11-02 v3 计算机视觉与模式识别
机器学习
摘要
流模型最近在建模图像和音频等有序离散数据方面取得了巨大进展。由于流模型的连续性，在将其用于此类离散数据时通常应用去量化，从而导致似然的下界估计。在本文中，我们引入子集流，一类可高效变换有限体积并因此允许精确计算离散数据似然的流。基于子集流，我们将有序离散自回归模型，包括 WaveNets、PixelCNNs 和 Transformers，识别为单层流。我们利用流公式比较以精确似然或其去量化下界训练和评估的模型。最后，我们研究了由 PixelCNNs 和非自回归耦合层组成的多层流，并展示了在 CIFAR-10 上流模型使用去量化训练的 state-of-the-art 结果。
引用
@article{arxiv.2002.02547,
title = {Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow},
author = {Didrik Nielsen and Ole Winther},
journal= {arXiv preprint arXiv:2002.02547},
year = {2020}
}