PBDyG：用于运动感知衣着人类模型的基于位置的动态高斯
计算机视觉与模式识别
2024-12-10 v2
摘要
本文提出了一种 novel 的衣着人类模型，可从多视角 RGB 视频中学习，特别强调恢复身体和衣物运动的物理准确性。我们的方法称为基于位置的动态高斯（PBDyG），通过物理仿真实现“movement-dependent”衣物变形，而不仅仅依赖于“pose-dependent”刚性变换。我们以整体方式建模衣着人类，但包含两个在接触关系中的不同物理实体：衣物建模为 3D 高斯，附着于跟随输入视频中人物运动的皮肤化 SMPL 身体。SMPL 身体的 articulation 也驱动衣物高斯的物理仿真，将 avatar 变形到新姿势。为了运行基于位置的 dynamics 仿真，物理属性（包括质量和材料刚度）通过动态 3D 高斯渲染从 RGB 视频中估计。实验表明，我们的方法不仅准确地再现了外观，还能重建佩戴高度可变形 garments（如裙子或大衣）的 avatar，这些 garments 过去使用现有方法时一直具有重大挑战。
引用
@article{arxiv.2412.04433,
title = {PBDyG: Position Based Dynamic Gaussians for Motion-Aware Clothed Human Avatars},
author = {Shota Sasaki and Jane Wu and Ko Nishino},
journal= {arXiv preprint arXiv:2412.04433},
year = {2024}
}