动态上下文内：基于姿态序列的惯性感知 3D 人体建模
计算机视觉与模式识别
2024-07-17 v2
摘要
神经渲染技术极大地推动了 3D 人体建模。然而，先前的方法往往忽略了由运动惯性等因素引起的动态变化，这在旋转后突然停止等场景中带来了挑战，此时姿态保持静态而外观发生变化。这一局限性源于依赖单一姿态作为条件输入，导致一个姿态映射到多种外观时的歧义。在本研究中，我们阐明人体外观的变化不仅取决于当前帧的姿态条件，还取决于过去的姿态状态。因此，我们引入了 Dyco，这是一种利用 delta 姿态序列表示进行非刚性变形和规范空间以有效建模时间外观变化的新方法。为了防止模型对新姿态泛化能力的下降，我们进一步提出了低维全局上下文以减少不必要的身体部位间依赖，以及量化操作以缓解模型对 delta 姿态序列的过拟合。为了验证我们方法的有效性，我们收集了一个名为 I3D-Human 的新数据集，重点关注在近似姿态下捕捉服装外观的时间变化。通过在 I3D-Human 和现有数据集上的大量实验，我们的方法展示了优越的定性和定量性能。此外，我们的惯性感知 3D 人体方法能够前所未有地模拟由不同速度下惯性引起的外观变化。
引用
@article{arxiv.2403.19160,
title = {Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence},
author = {Yutong Chen and Yifan Zhan and Zhihang Zhong and Wei Wang and Xiao Sun and Yu Qiao and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2403.19160},
year = {2024}
}