深度共识学习

生成式学习与判别式学习近来都借助深度神经网络（DNNs）取得了显著进展。对于结构化输入合成与结构化输出预测问题（例如分别为布局到图像合成与图像语义分割），它们通常被分开研究。本文提出深度共识学习（DCL）用于联合布局到图像合成与弱监督图像语义分割。前者由近期提出的LostGAN方法实现，后者通过引入一个推理网络作为第三方加入LostGAN的两方博弈实现。利用两种深度共识映射来促进三个网络的端到端训练：给定输入布局（一组目标边界框），生成器生成掩码（标签图）并用以辅助合成图像。推理网络推断合成图像的掩码。然后，在生成器生成的掩码与推理网络推断的掩码之间度量潜在共识。对于对应输入布局的真实图像，其掩码同样由推理网络计算，随后由生成器用于重建真实图像。然后，在真实图像与其重建图像之间度量数据共识。判别器仍通过为真实图像、其重建图像与合成图像计算真实度分数来扮演对抗者角色。实验中，我们的DCL在COCO-Stuff数据集上测试，取得了引人注目的布局到图像合成结果与弱监督图像语义分割结果。