MixNMatch：用于条件图像生成的多因子解耦与编码
计算机视觉与模式识别
2020-04-14 v3 图形学
机器学习
图像与视频处理
摘要
我们提出 MixNMatch，一种条件生成模型，它以最小监督从真实图像中学习解耦并编码背景、物体姿态、形状和纹理，用于混搭图像生成。我们基于无条件生成模型 FineGAN 构建，以学习所需的解耦和图像生成器，并利用对抗联合图像-编码分布匹配来学习潜在因子编码器。MixNMatch 在训练时需要边界框来建模背景，但不需要其他监督。通过大量实验，我们展示了 MixNMatch 准确解耦、编码并组合多个因子以进行混搭图像生成的能力，包括 sketch2color、cartoon2img 和 img2gif 应用。我们的代码/模型/demo 可在 https://github.com/Yuheng-Li/MixNMatch 找到。
引用
@article{arxiv.1911.11758,
title = {MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation},
author = {Yuheng Li and Krishna Kumar Singh and Utkarsh Ojha and Yong Jae Lee},
journal= {arXiv preprint arXiv:1911.11758},
year = {2020}
}
备注
CVPR 2020 camera ready