In&Out：基于 GAN 反演的多样化图像外绘
计算机视觉与模式识别
2021-04-02 v1
摘要
图像外绘旨在对输入图像已有内容之外进行语义一致的扩展。与修复（以与邻域像素一致的方式填补缺失像素）相比，外绘可通过更多样的方式实现，因为该问题受周围像素约束较少。现有图像外绘方法将问题视为条件图像到图像翻译任务，常通过复制输入图像中的可用内容而生成重复的结构与纹理。在本工作中，我们从反演生成对抗网络的角度来表述该问题。我们的生成器以微块（micro-patch）的联合潜变量及其在图像中的各自位置为条件进行渲染。为外绘一幅图像，我们寻找多个潜变量，不仅恢复可用块，还通过基于块的生成合成多样化的外绘结果。这带来了外绘区域中更丰富的结构与内容。此外，我们的表述支持以类别输入为条件的外绘，从而实现灵活的用户控制。大量实验结果表明，所提方法在视觉质量与多样性上优于现有的修复与外绘方法。
引用
@article{arxiv.2104.00675,
title = {In&Out : Diverse Image Outpainting via GAN Inversion},
author = {Yen-Chi Cheng and Chieh Hubert Lin and Hsin-Ying Lee and Jian Ren and Sergey Tulyakov and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2104.00675},
year = {2021}
}
备注
Project Page: https://yccyenchicheng.github.io/InOut/