DressRecon：从单目视频重建自由形式 4D 人体模型

我们提出了一种方法，从单目视频中重建时间一致的人体模型，特别关注非常松散的服装或手持物体交互。先前的人体重建要么局限于紧身服装且不涉及物体交互，要么需要校准的多视角捕获或个人化的模板扫描，这些扫描在大规模收集方面成本较高。我们实现高质量且灵活重建的关键洞察在于，仔细地将关于 articulated body 形状的通用人体先验（从大规模训练数据中学习）与针对单个视频通过测试时优化拟合的 video-specific articulated “骨架包”变形相结合。我们通过学习一个神经隐式模型，将身体与服装变形分离为独立的运动模型层。为捕捉服装细微的几何结构，我们利用人体姿态、表面法线和光流等基于图像的先验进行优化。所得神经场可提取为时间一致的网格，或进一步优化为显式 3D 高斯，以实现高保真度的交互式渲染。在具有高度具有挑战性的服装变形和物体交互的数据集上，DressRecon 相较于先前方法能产生更高保真度的 3D 重建。项目页面：https://jefftan969.github.io/dressrecon/。