Im2Haircut：面向人类虚拟化身的单视图基于发丝的头发重建

我们提出了一种基于全局头发先验与局部优化相结合的单张照片三维头发重建新方法。从单张照片中捕获基于发丝的头发几何结构具有挑战性，因为发型的多样性和几何复杂性以及缺乏真实训练数据。经典的重建方法，如多视角立体视觉，只能重建可见的发丝，缺失了发型的内部结构，并阻碍了逼真的头发模拟。为了解决这个问题，现有方法利用在合成数据上训练的发型先验。然而，此类数据在数量和质量上都有限，因为它需要熟练艺术家的手工工作来建模 3D 发型并创建接近照片般逼真的渲染图。为了解决这个问题，我们提出了一种新颖的方法，同时使用真实数据和合成数据来学习有效的发型先验。具体来说，我们在合成数据上训练一个基于 Transformer 的先验模型，以获取内部发型几何结构的知识，并在学习过程中引入真实数据来建模外部结构。这种训练方案能够对输入图像中描绘的可见发丝进行建模，同时保留发型的整体 3D 结构。我们利用这个先验创建了一个基于高斯泼溅的重建方法，可以从一张或多张图像中创建发型。与现有重建流程的定性和定量比较证明了我们的方法在捕捉详细的头发方向、整体轮廓和背面一致性方面的有效性和优越性能。更多结果和代码，请参阅 https://im2haircut.is.tue.mpg.de。