用于条件外观与形状生成的变分 U-Net
计算机视觉与模式识别
2018-04-16 v1
摘要
深度生成模型在图像合成中已展现出优异性能。然而，在存在空间形变的情况下，其结果会恶化，因为这些模型直接生成物体图像，而非对其内在形状与外观之间复杂的相互作用进行建模。我们提出了一种用于形状引导图像生成的条件 U-Net，以针对外观的变分自编码器的输出为条件。该方法在图像上端到端训练，无需同一物体具有不同姿态或外观的样本。实验表明，该模型支持条件图像生成与迁移。因此，可以从查询图像中保留形状或外观之一，同时自由改变另一个。此外，由于其随机隐表示，可以对外观进行采样，同时保持形状不变。在 COCO、DeepFashion、shoes、Market-1501 和 handbags 上的定量与定性实验中，该方法相比当前最优方法取得了显著改进。
引用
@article{arxiv.1804.04694,
title = {A Variational U-Net for Conditional Appearance and Shape Generation},
author = {Patrick Esser and Ekaterina Sutter and Björn Ommer},
journal= {arXiv preprint arXiv:1804.04694},
year = {2018}
}
备注
CVPR 2018 (Spotlight). Project Page at https://compvis.github.io/vunet/