PixelSNAIL：一种改进的自回归生成模型
机器学习
2017-12-29 v1 机器学习
摘要
自回归生成模型在涉及高维数据（如图像或音频）的密度估计任务中始终取得最佳结果。它们将密度估计视为序列建模任务，其中循环神经网络（RNN）对所有先前元素条件下的下一元素的条件分布进行建模。在这一范式中，瓶颈在于RNN对长程依赖建模的程度，而最成功的方法依赖于因果卷积，其比传统RNN能更好地访问序列的较早部分。受近期元强化学习（其中处理长程依赖同样至关重要）工作的启发，我们引入了一种结合因果卷积与自注意力的新生成模型架构。在本札记中，我们描述了所得模型，并给出了在CIFAR-10（2.85 bits per dim）和 ImageNet（3.80 bits per dim）上的最先进对数似然结果。我们的实现可在 https://github.com/neocxi/pixelsnail-public 获取。
引用
@article{arxiv.1712.09763,
title = {PixelSNAIL: An Improved Autoregressive Generative Model},
author = {Xi Chen and Nikhil Mishra and Mostafa Rohaninejad and Pieter Abbeel},
journal= {arXiv preprint arXiv:1712.09763},
year = {2017}
}