UnderPressure:用于脚接触检测、地面反作用力估计与滑步清理的深度学习
图形学
2022-08-10 v1
摘要
人体运动合成与编辑对电影后期制作等诸多应用至关重要。然而,它们常引入运动伪影,有损感知真实感。尤其是滑步(footskating)是一种频繁且恼人的伪影,需借助脚接触知识予以清理。当前获取脚接触标签的方法要么依赖不可靠的基于阈值的启发式规则,要么依赖繁琐的人工标注。本文中,我们通过深度学习解决从运动中检测脚接触标签的问题。为此,我们首先公开发布 UnderPressure——一个带有压力鞋垫数据标注的新型动作捕捉数据库,可作为可靠的脚与地面接触知识。然后,我们设计并训练了一个深度神经网络,从运动数据估计作用于脚部的地面反作用力,进而推导出准确的脚接触标签。对我们模型的评估表明,我们显著优于基于高度与速度阈值的启发式方法,且我们的方法在受噪声或滑步等扰动的运动序列上更为鲁棒。我们进一步提出了一种全自动滑步清理流程:首先由估计的地面反作用力导出脚接触标签;随后,通过基于优化的逆运动学(IK)方法求解脚部约束以去除滑步,并确保与估计地面反作用力的一致性。除滑步清理外,我们提出的数据库与方法还有助于改进许多基于脚接触标签或地面反作用力的方案,包括运动重建与运动合成或角色动画中深度运动模型学习等逆动力学问题。我们的实现、预训练模型及数据库链接见 https://github.com/InterDigitalInc/UnderPressure。
引用
@article{arxiv.2208.04598,
title = {UnderPressure: Deep Learning for Foot Contact Detection, Ground Reaction Force Estimation and Footskate Cleanup},
author = {Lucas Mourot and Ludovic Hoyet and François Le Clerc and Pierre Hellier},
journal= {arXiv preprint arXiv:2208.04598},
year = {2022}
}
备注
14 pages, 10 figures, 4 tables