基于模式坐标的扩散映射用于时空服装重建

从单目图像和视频中重建 3D 衣物人物是具有虚拟试穿、头像创建和混合现实等应用前景的基本问题。尽管人体恢复取得了显著进展，但准确重建衣物几何形状，特别是对于松散服装，仍然是一个开放的挑战。我们提出了一个统一框架，用于从单张图像和视频序列中进行高保真 3D 服装重建。该方法将隐式缝纶图案（Implicit Sewing Patterns, ISP）与生成式扩散模型结合起来，在 2D UV 空间中学习表达性的服装形状先验。利用这些先验，我们引入了一个映射模型，在图像像素、UV 图案坐标和 3D 几何之间建立对应关系，从而实现从单张图像进行准确和详细的服装重建。我们进一步将该公式扩展到动态重建，通过引入具有测试时引导的时空扩散方案，以实现长程时序一致性。我们还开发了基于分析投影的约束，既保留可见区域中与图像对齐的几何，又在时间上对遮挡区域实现一致的完成。尽管仅在合成模拟布料数据上进行训练，但我们的方法对真实图像具有良好的泛化能力，并在紧身和松散服装上 consistently 超过现有方法。重建的服装保留细微的几何细节，同时展现出真实的动态运动，支持纹理编辑、服装重新定位和动画等下游应用。