面向真实场景布局生成的关系感知空间感知融合

生成对抗网络（GANs）的显著进展使得基于自然语言描述生成令人惊讶地真实单目标图像成为可能。然而，由于场景布局生成严重受限于目标缩放与空间位置的多样性，对具有显式交互的多个实体进行可控图像生成仍难以实现。在本文中，我们提出了一种从文本场景图生成真实图像布局的新框架。在我们的框架中，设计了一个空间约束模块，以在考虑目标对之间关系的前提下拟合合理的缩放与空间布局。此外，引入了一个上下文融合模块，用于依据场景图中目标依赖关系融合成对空间信息。通过使用这两个模块，我们提出的框架倾向于生成更符合常识的布局，有助于真实图像生成。在两个不同场景图数据集上的包括定量结果、定性结果与用户研究的实验结果，证明了我们提出的框架从场景图生成具有多目标的复杂且合乎逻辑布局的能力。