利用潜空间优化恢复三维人体动作中未标记关节的轨迹
计算机视觉与模式识别
2020-12-04 v1 机器学习
摘要
动作捕捉（mocap）与基于飞行时间的人体动作传感正成为日益流行的模态，用于执行鲁棒的活动分析。其应用范围从动作识别到为健康应用量化运动质量。尽管无标记动作捕捉已取得巨大进展，在医疗等关键应用中，基于标记的系统（尤其是主动标记）仍被视为黄金标准。然而，这两种模态都存在若干实际挑战，如可见性、跟踪误差，以及仅是为保持标记设置便利而用精简标记集记录动作的需求。这意味着某些关节位置甚至不会被标记，使全身运动的下游分析颇具挑战。为弥补这一缺口，我们首先将重建未标记关节数据的问题表述为一个不适定线性逆问题。我们通过将给定动作投影到人体动作流形上来恢复缺失关节，这通过优化深度自编码器的潜空间表示实现。在 mocap 与 Kinect 数据集上的实验清楚表明，所提方法在恢复动作语义与缺失关节动态方面表现极佳。我们将公开所有代码与模型。
引用
@article{arxiv.2012.02043,
title = {Recovering Trajectories of Unmarked Joints in 3D Human Actions Using Latent Space Optimization},
author = {Suhas Lohit and Rushil Anirudh and Pavan Turaga},
journal= {arXiv preprint arXiv:2012.02043},
year = {2020}
}
备注
Accepted at WACV 2021