用于图像合成的无监督鲁棒潜特征解耦
计算机视觉与模式识别
2019-10-24 v1
摘要
深度生成模型有望学习可视对象的可解释表示,以支持图像采样、合成与选择性修改。主要挑战在于学习对对象独立潜特征(尤其是其外观与姿态)的恰当建模。我们提出一种新方法,学习这些特征的解耦表示并分别对其加以解释。训练仅需描绘相同对象外观的图像对,无需姿态标注。我们提出一个附加分类器来估计强制解耦所需的最小正则化量。从而两种表示共同可完全解释一幅图像,且彼此独立。先前基于对抗方法的工作未能强制该独立性,而基于变分方法的工作导致无信息量的表示。在多样对象类别上的实验中,该方法成功重组姿态与外观以重建并重定向新颖合成图像。我们在利用同等监督水平的SOTA方法上取得显著改进,并达到可与姿态监督方法相比的性能。然而,我们能处理大量无姿态模型/标注可用的关节对象类别。
引用
@article{arxiv.1910.10223,
title = {Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis},
author = {Patrick Esser and Johannes Haux and Björn Ommer},
journal= {arXiv preprint arXiv:1910.10223},
year = {2019}
}
备注
ICCV 2019. Project page at https://compvis.github.io/robust-disentangling/