FuseAnyPart：基于扩散模型的多参考图像面部部件交换
计算机视觉与模式识别
2024-11-12 v2
摘要
面部部件交换旨在将源图像中的感兴趣区域选择性地转移到目标图像上，同时保持目标图像的其余部分不变。大多数针对全脸交换设计的人脸交换研究，在交换单个面部部件时要么无法实现，要么受到显著限制，这阻碍了细粒度和定制化的角色设计。然而，专门为此类面部部件交换设计方法面临合理多参考特征融合的挑战，这需要既高效又有效。为了克服这一挑战，我们提出了FuseAnyPart，以促进面部无缝的“任意部件融合”定制。在FuseAnyPart中，来自不同人的面部部件在基于掩码的融合模块内的潜在空间中组装成一张完整的面孔。随后，整合后的特征被分派到基于加法的注入模块，在扩散模型的UNet中进行融合，以创建新颖的角色。大量实验定性和定量地验证了FuseAnyPart的优越性和鲁棒性。源代码可在https://github.com/Thomas-wyh/FuseAnyPart获取。
引用
@article{arxiv.2410.22771,
title = {FuseAnyPart: Diffusion-Driven Facial Parts Swapping via Multiple Reference Images},
author = {Zheng Yu and Yaohua Wang and Siying Cui and Aixi Zhang and Wei-Long Zheng and Senzhang Wang},
journal= {arXiv preprint arXiv:2410.22771},
year = {2024}
}
备注
Accepted by the NeurIPS 2024 (Spotlight). Homepage: https://thomas-wyh.github.io/