StyleGAN Salon：用于姿态不变发型迁移的多视角潜空间优化
计算机视觉与模式识别
2023-06-06 v3
摘要
本文旨在将参考图像的发型迁移到输入照片上，用于虚拟试发。我们面向多种挑战性场景，例如将带有刘海的长发型变换为精灵短发，这需要移除已有头发并推断额头的外观，或者迁移来自戴帽者在不同姿态下部分可见的头发。过去的方案利用 StyleGAN 通过所谓的 GAN 反演或投影来补全缺失部分并生成无缝的人脸-头发合成。然而，在控制补全以准确迁移发型并保留输入的人脸形状与身份方面仍存在挑战。为克服此问题，我们提出了一种多视角优化框架，该框架使用参考合成的“两个不同视角”来在语义上引导被遮挡或模糊的区域。我们的优化在两个姿态间共享信息，从而能够从不完整参考中生成高保真且逼真的结果。我们的框架产出了高质量结果，并在一项由比以往研究更具挑战性的发型迁移场景组成的用户研究中优于先前工作。项目页面：https://stylegan-salon.github.io/。
引用
@article{arxiv.2304.02744,
title = {StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant Hairstyle Transfer},
author = {Sasikarn Khwanmuang and Pakkapon Phongthawee and Patsorn Sangkloy and Supasorn Suwajanakorn},
journal= {arXiv preprint arXiv:2304.02744},
year = {2023}
}
备注
Accepted to CVPR2023