基于扩散模型的 Stable-Hair：现实世界发际发transfer
计算机视觉与模式识别
2024-12-11 v2
摘要
当前的发际发transfer方法难以处理多样且复杂的发型，在现实场景中应用受到限制。本文提出一种新颖的基于扩散的发际发transfer框架，命名为\textit{Stable-Hair}，能够稳健地将广泛的现实世界发型传递给用户提供的面部图像，用于虚拟发际发试穿。为实现此目标，我们将Stable-Hair框架设计为两个阶段的管线。在第一个阶段，我们训练了一个光头转换器（Bald Converter）以及稳定扩散，以从用户提供的面部图像中移除发际发，生成光头图像。在第二个阶段，我们专门设计了发际发提取器（Hair Extractor）和潜在身份网络（Latent IdentityNet），以高精度将目标发际发传递给光头图像。发际发提取器被训练以编码具有所需发际发特征的参考图像，而潜在身份网络确保身份和背景的一致性。为最小化源图像与transfer结果之间的颜色偏差，我们引入一种新颖的潜在ControlNet架构，既可作为光头转换器，亦可作为潜在身份网络使用。在在精选的三元组数据集上训练后，我们的方法准确地将高度细节和高保真度的发际发传递给源图像。大量实验表明，我们的方法在现有发际发transfer方法中实现了最前沿性能。项目页面：\textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}
关键词
引用
@article{arxiv.2407.14078,
title = {Stable-Hair: Real-World Hair Transfer via Diffusion Model},
author = {Yuxuan Zhang and Qing Zhang and Yiren Song and Jichao Zhang and Hao Tang and Jiaming Liu},
journal= {arXiv preprint arXiv:2407.14078},
year = {2024}
}