基于解耦表示的高保真合成
计算机视觉与模式识别
2020-01-14 v1 图像与视频处理
摘要
在无监督条件下学习数据的解耦表示是提升生成模型可解释性的重要一步。尽管解耦表示学习近期取得进展，现有方法常受制于表示学习与生成性能之间的权衡（即提升生成质量会牺牲解耦性能）。我们提出 Information-Distillation Generative Adversarial Network (ID-GAN, 信息蒸馏生成对抗网络)，一个简单而通用的框架，可轻松整合现有最先进模型以同时用于解耦学习与高保真合成。我们的方法使用基于 VAE 的模型学习解耦表示，并将所学表示与额外的干扰变量一起蒸馏至独立的基于 GAN 的生成器以进行高保真合成。为确保两个生成模型对齐以渲染相同的生成因子，我们进一步约束 GAN 生成器最大化所学潜码与输出之间的互信息。尽管简单，我们表明所提方法极为有效，使用解耦表示达到了与最先进方法相当的图像生成质量。我们还表明所提分解带来了高效且稳定的模型设计，并首次使用解耦表示展示了照片级真实的高分辨率图像合成结果（1024x1024 像素）。
引用
@article{arxiv.2001.04296,
title = {High-Fidelity Synthesis with Disentangled Representation},
author = {Wonkwang Lee and Donggyun Kim and Seunghoon Hong and Honglak Lee},
journal= {arXiv preprint arXiv:2001.04296},
year = {2020}
}