通过共调制生成对抗网络的大规模图像补全
计算机视觉与模式识别
2021-03-19 v1 图形学
机器学习
摘要
针对图像补全已开发出众多条件生成对抗网络(task-specific variants)的特定任务变体。然而,一个严重局限依然存在:所有现有算法在处理大规模缺失区域时往往失败。为克服此挑战,我们提出一种通用新方法,通过条件风格与随机风格的共调制,弥合图像条件生成架构与近期调制式无条件生成架构之间的鸿沟。此外,由于缺少良好的图像补全量化指标,我们提出新的成对/非成对 Inception 判别分数(P-IDS/U-IDS),其通过特征空间中的线性可分性稳健地度量修复图像相较于真实图像的感知保真度。实验表明,在自由形式图像补全中,相较于最先进(state-of-the-art, SOTA)方法,在质量与多样性上均具优越性能,且能轻松泛化至图像到图像翻译。代码见于 https://github.com/zsyzzsoft/co-mod-gan。
引用
@article{arxiv.2103.10428,
title = {Large Scale Image Completion via Co-Modulated Generative Adversarial Networks},
author = {Shengyu Zhao and Jonathan Cui and Yilun Sheng and Yue Dong and Xiao Liang and Eric I Chang and Yan Xu},
journal= {arXiv preprint arXiv:2103.10428},
year = {2021}
}
备注
ICLR 2021 (Spotlight). Code: https://github.com/zsyzzsoft/co-mod-gan Demo: https://comodgan.ml/