SIFU：面向真实世界可用的穿衣人体重建的侧视图条件隐式函数

从单张图像创建高质量的穿衣人体3D模型对于真实世界应用至关重要。尽管近期取得了进展，但从自然场景图像中精确重建复杂姿态或穿着宽松衣物的人体，并预测不可见区域的纹理，仍然是一个重大挑战。先前方法的一个关键局限在于，它们在从2D到3D的过渡以及纹理预测中缺乏足够的先验引导。为此，我们引入了SIFU（面向真实世界可用的穿衣人体重建的侧视图条件隐式函数），这是一种结合了侧视图解耦Transformer和3D一致纹理细化流程的新方法。SIFU在Transformer内部采用交叉注意力机制，使用SMPL-X法线作为查询，在将2D特征映射到3D的过程中有效解耦侧视图特征。这种方法不仅提高了3D模型的精度，也增强了其鲁棒性，尤其是在SMPL-X估计不完美的情况下。我们的纹理细化流程利用基于文本到图像扩散的先验知识，为不可见视角生成逼真且一致的纹理。通过大量实验，SIFU在几何和纹理重建方面均超越了SOTA方法，在复杂场景中展现出更强的鲁棒性，并实现了前所未有的Chamfer和P2S测量值。我们的方法可扩展到3D打印和场景构建等实际应用，展示了其在真实世界场景中的广泛实用性。项目页面：https://river-zhang.github.io/SIFU-projectpage/。