NP-DRAW：一种用于图像生成的非参数结构化隐变量模型
计算机视觉与模式识别
2021-07-07 v2 机器学习
摘要
本文提出一种用于图像生成的非参数结构化隐变量模型，称为NP-DRAW，它以逐部分的方式在隐画布上顺序绘制，然后从画布解码图像。我们的主要贡献如下。1）我们提出一种关于图像部分外观的非参数先验分布，使得每步的隐变量“画什么”成为类别随机变量。与文献中使用的高斯分布相比，这提升了表达能力并极大简化了学习。2）我们通过Transformer建模部分之间的顺序依赖结构，与文献中使用的RNN相比更强大且更易训练。3）我们提出一种有效的启发式解析算法来预训练先验。在MNIST、Omniglot、CIFAR-10和CelebA上的实验表明，我们的方法显著优于DRAW和AIR等先前结构化图像模型，并与其他通用生成模型具有竞争力。此外，我们展示了我们模型固有的组合性和可解释性在低数据学习机制和隐空间编辑中带来了显著益处。代码见https://github.com/ZENGXH/NPDRAW。
引用
@article{arxiv.2106.13435,
title = {NP-DRAW: A Non-Parametric Structured Latent Variable Model for Image Generation},
author = {Xiaohui Zeng and Raquel Urtasun and Richard Zemel and Sanja Fidler and Renjie Liao},
journal= {arXiv preprint arXiv:2106.13435},
year = {2021}
}
备注
UAI2021, code at https://github.com/ZENGXH/NPDRAW