基于分组深度白化-着色变换的图像到图像翻译
计算机视觉与模式识别
2019-06-11 v2
摘要
近来，无监督的基于范例的图像到图像翻译，在给定范例且无配对数据条件下，已取得实质性进展。为将范例信息迁移至输入图像，现有方法常使用归一化技术，例如自适应实例归一化，控制特定层输入激活图的通道统计(如均值与方差)。同时，本质上与图像翻译任务相似的风格迁移方法，通过使用通道间协方差等更高阶统计表示风格，展示了优越性能。具体而言，其通过白化(给定零均值输入特征，将其协方差矩阵变换为单位阵)，随后着色(将白化特征的协方差矩阵改为风格特征的协方差矩阵)实现。然而，由于昂贵的时间复杂度和非平凡的逆向传播，将该法用于图像翻译计算密集且易错。为此，本文提出一种为图像翻译定制的端到端方法，通过新颖正则化方法高效近似该变换。我们进一步将方法扩展为分组形式，以提升内存与时间效率及图像质量。大量定性与定量实验表明，所提方法在训练和推理上均快速，且在反映范例风格上极为有效。最后，我们的代码见 https://github.com/WonwoongCho/GDWCT。
引用
@article{arxiv.1812.09912,
title = {Image-to-Image Translation via Group-wise Deep Whitening-and-Coloring Transformation},
author = {Wonwoong Cho and Sungha Choi and David Keetae Park and Inkyu Shin and Jaegul Choo},
journal= {arXiv preprint arXiv:1812.09912},
year = {2019}
}
备注
CVPR 2019 (oral)