基于关键局部块的无监督整体图像生成

我们引入了一个新问题：在没有任何几何先验的情况下，基于少量关键局部块生成图像。在本工作中，关键局部块被定义为目标对象或场景的信息区域。这是一个具有挑战性的问题，因为它要求同时生成逼真的图像并预测各部分的位置。我们构建了对抗网络来解决这一问题。生成器网络基于编码器-解码器框架生成假图像以及掩膜。另一方面，判别器网络旨在检测假图像。该网络使用三种损失函数进行训练，以考虑空间、外观和对抗信息。空间损失确定预测部分的位置是否正确。由于外观损失，输入块在输出图像中得以恢复且没有太多修改。对抗损失确保输出图像逼真。由于不需要关键部分的标签，所提出的网络在无监督信号下进行训练。在六个数据集上的实验结果表明，所提出的算法在具有挑战性的对象和场景上表现良好。