利用强化对抗学习合成图像程序

深度生成网络的最新进展已在近年来取得令人印象深刻的成果。然而，此类模型常将其容量浪费在数据集的细枝末节上，这可能是由于解码器中归纳偏置较弱所致。此时图形引擎便可派上用场，因为它们抽象掉低级细节并将图像表示为高级程序。当前结合深度学习与渲染器的方法受限于手工设计的似然或距离函数、需要大量监督，或难以将其推断算法扩展到更丰富的数据集。为缓解这些问题，我们提出 SPIRAL，一种对抗训练的智能体，它生成由图形引擎执行的程序以解释和采样图像。该智能体的目标是欺骗一个区分真实数据与渲染数据的判别器网络，该判别器以分布式强化学习设置训练且无需任何监督。一个令人惊讶的发现是，将判别器的输出作为奖励信号是使智能体在匹配所需输出渲染方面取得有意义进展的关键。据我们所知，这是在具有挑战性的真实世界（MNIST、Omniglot、CelebA）与合成三维数据集上首个端到端、无监督且对抗的逆图形学智能体的演示。