DLCA-Recon：基于单目视频的动态宽松服装虚拟人重建
计算机视觉与模式识别
2023-12-21 v2
摘要
重建穿着宽松服装的动态人体是一项重要但困难的任务。为了应对这一挑战，我们提出了一种名为 DLCA-Recon 的方法，用于从单目视频中创建人体虚拟人。当人体自由移动和动作时，宽松服装与底层身体之间的距离在每一帧中都会快速变化。以往的方法缺乏有效的几何初始化和约束来指导变形优化以解释这种剧烈变化，导致重建表面不连续且不完整。为了更准确地建模变形，我们提出在标准空间中初始化一个估计的 3D 穿衣人体，因为变形场从穿衣人体中学习比从 SMPL 中学习更容易。结合显式网格和隐式 SDF 两种表示，我们利用连续帧之间的物理连接信息，并提出了一种动态变形场（DDF）来优化变形场。DDF 考虑了宽松服装上的作用力，增强了变形的可解释性，并有效捕捉了宽松服装的自由运动。此外，我们将 SMPL 蒙皮权重传播到每个个体，并在优化过程中细化姿态和蒙皮权重，以改进蒙皮变换。基于更合理的初始化和 DDF，我们可以更准确地模拟真实世界的物理现象。在公开数据集和我们自己的数据集上的大量实验验证了，与 SOTA 方法相比，我们的方法能够为穿着宽松服装的人体产生更优的结果。
引用
@article{arxiv.2312.12096,
title = {DLCA-Recon: Dynamic Loose Clothing Avatar Reconstruction from Monocular Videos},
author = {Chunjie Luo and Fei Luo and Yusen Wang and Enxu Zhao and Chunxia Xiao},
journal= {arXiv preprint arXiv:2312.12096},
year = {2023}
}