Stable-Hair v2：基于多视图扩散模型的真实场景发型迁移

尽管扩散方法在捕捉多样化和复杂发型方面显示出惊人的能力，但其在生成一致且高质量的多视图输出方面的能力尚未得到充分探索，这对于数字人类和虚拟头像等实际应用至关重要。本文提出了 Stable-Hair v2，一种新颖的基于扩散的多视图发型迁移框架。据我们所知，这是首个利用多视图扩散模型实现稳健、高保真且视图一致发型迁移的工作。我们引入了综合的多视图训练数据生成管道，包括基于扩散的 Bald Converter、数据增强inpainting模型和面部微调的多视图扩散模型，以生成高质量的三元组数据，包括光头图像、参考发型和视图对齐的源光头对。我们的多视图发型迁移模型集成了极地-方位嵌入用于姿态条件控制，以及时序注意力层以确保视图之间的平滑过渡。为优化该模型，我们设计了新颖的多阶段训练策略，包括姿态可控的潜在IdentityNet训练、发型提取器训练以及时序注意力训练。广泛的实验表明，我们的方法准确地将详细且逼真的发型 transferred 到源主体上，并在视图之间实现无缝且一致的结果，显著优于现有方法，在多视图发型迁移方面树立了新的基准。代码已公开于 https://github.com/sunkymepro/StableHairV2。