面向图像建模的通道循环自编码
机器学习
2018-03-13 v2 计算机视觉与模式识别
摘要
尽管近期在人脸和卧室图像合成方面取得了成功，但现有的生成模型仍难以捕捉更复杂的图像类型，这可能源于其潜在空间构造的过度简化。为解决这一问题，我们在变分自编码器（VAEs）的基础上，将跨通道的循环连接整合到推理和生成步骤中，使得高层特征能够以全局到局部、粗到细的方式被捕捉。结合对抗损失，我们的通道循环 VAE-GAN（crVAE-GAN）在生成多样化高分辨率图像方面优于 VAE-GAN，同时保持了同等的计算效率。我们的模型能产生可解释且富有表现力的潜在表示，以利于图像补全等下游任务。此外，我们提出了两种新颖的正则化方法，即随时间步长的 KL 目标加权方案以及变换后的潜在变量与输出之间的互信息最大化，以增强训练。
引用
@article{arxiv.1706.03729,
title = {Channel-Recurrent Autoencoding for Image Modeling},
author = {Wenling Shang and Kihyuk Sohn and Yuandong Tian},
journal= {arXiv preprint arXiv:1706.03729},
year = {2018}
}
备注
Code: https://github.com/WendyShang/crVAE. Supplementary Materials: http://www-personal.umich.edu/~shangw/wacv18_supplementary_material.pdf