Barbershop：基于分割掩码与 GAN 的图像合成
计算机视觉与模式识别
2021-12-21 v2 图形学
摘要
将多张图像的特征无缝融合极具挑战性，因为光照、几何与部分遮挡之间的复杂关系会导致图像不同部分相互耦合。尽管近期 GAN 相关研究已能合成逼真的头发或人脸，但将其组合为单一、连贯且合理的图像而非 disjointed 的图像块集合仍十分困难。我们提出一种基于 GAN 反转（GAN-inversion）的新颖图像融合方案，尤其针对发型迁移问题。我们提出了一种更擅长保留细节与编码空间信息的图像融合潜在空间，并给出一种新的 GAN 嵌入算法，能够轻微修改图像以符合通用分割掩码。我们的新表示支持从多张参考图像迁移视觉属性，包括痣和皱纹等具体细节；由于我们在潜在空间中进行图像融合，因此能够合成连贯的图像。我们的方法避免了其他方法中存在的融合伪影，并求得全局一致的图像。在用户研究中，我们的结果相较当前最优方法显著提升，用户超过 95% 的时间偏好我们的融合方案。
引用
@article{arxiv.2106.01505,
title = {Barbershop: GAN-based Image Compositing using Segmentation Masks},
author = {Peihao Zhu and Rameen Abdal and John Femiani and Peter Wonka},
journal= {arXiv preprint arXiv:2106.01505},
year = {2021}
}
备注
Project page: https://zpdesu.github.io/Barbershop/ Video: https://youtu.be/ZU-yrAvoJfQ