HairFastGAN：基于快速编码器方法的逼真且鲁棒的发型迁移
计算机视觉与模式识别
2024-05-28 v3
摘要
本文致力于解决将参考图像中的发型迁移到输入照片以进行虚拟试戴的复杂任务。由于需要适应各种照片姿态、发型的敏感性以及缺乏客观指标，该任务极具挑战性。当前最先进的发型迁移方法对该方法的各个部分使用优化过程，导致速度极其缓慢。同时，更快的基于编码器的模型质量很低，因为它们要么在 StyleGAN 的 W+ 空间中运行，要么使用其他低维图像生成器。此外，当源姿态与目标姿态差异很大时，这两种方法在发型迁移上都存在问题，因为它们要么完全不考虑姿态，要么处理效率低下。在本文中，我们提出了 HairFast 模型，它独特地解决了这些问题，并实现了高分辨率、近实时性能以及优于基于优化问题方法的重建效果。我们的解决方案包括在 StyleGAN 的 FS 潜空间中运行的新架构、增强的图像修复方法，以及用于更好对齐、颜色迁移的改进编码器和用于后处理的新编码器。在随机发型迁移和迁移原始发型的重建中，我们的方法在逼真度指标上展示了其有效性。在从不同图像迁移发型形状和颜色的最困难场景下，我们的方法在 Nvidia V100 上运行耗时不到一秒。我们的代码可在 https://github.com/AIRI-Institute/HairFastGAN 获取。
引用
@article{arxiv.2404.01094,
title = {HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach},
author = {Maxim Nikolaev and Mikhail Kuznetsov and Dmitry Vetrov and Aibek Alanov},
journal= {arXiv preprint arXiv:2404.01094},
year = {2024}
}