基于单目视频的可微分物理仿真的模板方法重建布料的形状与光照

三维动态场景的重建是计算机视觉领域中既成经典又富有挑战性的任务。本文提出了一种新方法，结合了3D几何重建和光照估计两个领域，构建了一个能够仅使用单个单目RGB视频序列作为输入，同时完成这两个任务的系统。为了获得逼真且高质量的变形和渲染，本文采用了布料几何的物理仿真和可微分渲染技术。为改善单目视频中深度不确定性问题，本文引入了两个新的正则化项，以提高重建结果的合理性。与该领域最新方法相比，我们在3D重建误差上降低了2.64倍，运行时长仅需30分钟即可处理每个场景。此外，优化后的运动质量足够，用于恢复单目RGB视频中变形物体的光照估计，能够从单一输入中恢复细节。