迈向提升自回归槽位VAE的生成质量

无条件的场景推断与生成难以通过单一组合模型联合学习。尽管在从图像中提取以对象为中心的表示（“槽位”）的模型上取得了令人鼓舞的进展，但从槽位无条件生成场景受到的关注较少。这主要是因为学习想象连贯场景所需的多对象关系十分困难。我们假设大多数现有基于槽位的模型学习对象关联的能力有限。我们提出两项增强对象关联学习的改进。其一是将槽位条件化于一个捕获槽位间高阶关联的全局场景级变量。其二是通过提出学习一种一致顺序用于场景对象的自回归生成，来解决图像中对象缺乏规范顺序的根本问题。具体而言，我们训练一个自回归槽位先验，以按所学顺序顺序生成场景对象。有序槽位推断首先使用现有方法从图像中提取随机有序的槽位集合，然后将那些槽位与自回归生成的、遵循槽位先验的有序槽位对齐。我们在三个多对象环境中的实验展示了无条件场景生成质量的明显提升。还提供了详细的消融研究以验证所提出的两项改进。