在深度单目人体形状与姿态估计中施加时间一致性约束
计算机视觉与模式识别
2022-02-09 v2
摘要
准确且时间一致的人体建模对于角色动画、理解人类社交行为以及 AR/VR 接口等广泛应用至关重要。从单目图像序列中精确捕捉人体运动仍具挑战性，且建模质量深受所捕捉身体运动时间一致性的影响。我们的工作提出了一种在拟合过程中集成时间约束的优雅方案。这不仅提升了时间一致性，也增强了优化过程中的鲁棒性。具体而言，我们推导代表一个人形状与运动的身体模型序列参数，包括下颌姿态、面部表情和手指姿态。我们在整段图像序列上优化这些参数，拟合一个一致的身体形状，同时对身体运动施加时间一致性约束，假设短时间内身体关节轨迹为线性。我们的方法能够从图像序列中推导出逼真的 3D 身体模型，包含面部表情与关节化手部。在大量实验中，我们表明该方法可准确估计身体形状与运动，即便面对挑战性动作与姿态亦然。此外，我们将其应用于手语分析这一特殊场景，其中准确且时间一致的运动建模不可或缺，并展示该方法十分适合此类应用。
引用
@article{arxiv.2202.03074,
title = {Imposing Temporal Consistency on Deep Monocular Body Shape and Pose Estimation},
author = {Alexandra Zimmer and Anna Hilsmann and Wieland Morgenstern and Peter Eisert},
journal= {arXiv preprint arXiv:2202.03074},
year = {2022}
}