利用任务通用运动先验从极稀疏信号恢复全身运动
计算机视觉与模式识别
2023-08-31 v1
摘要
在虚拟现实体验中,用于追踪用户姿态最流行的设备类型包括头戴式显示器与双手各持的俩控制器。然而,由于追踪传感器数量有限(共三个),忠实恢复用户全身姿态颇具挑战,限制了虚拟世界中模拟用户化身之间交互的潜力。因此,近期研究尝试利用神经网络来重建全身姿态,这些网络运用先前学习到的人体姿态或接受短时间内的系列过往姿态。本文中,我们提出一种利用神经运动先验信息以提升重建用户运动精度的方法。我们的方法旨在通过从有限输入信号预测用户整体运动的潜表示,并将该信息与时追踪传感器输入相融合,来重建用户全身姿态。其基于如下前提:姿态重建的最终目标是重建作为系列姿态的运动。结果显示,该融合能够更精确地重建用户全身运动,尤其增强了从匮乏信号中重建下半身运动的鲁棒性。网页:https://https://mjsh34.github.io/mp-sspe/
引用
@article{arxiv.2308.15839,
title = {Utilizing Task-Generic Motion Prior to Recover Full-Body Motion from Very Sparse Signals},
author = {Myungjin Shin and Dohae Lee and In-Kwon Lee},
journal= {arXiv preprint arXiv:2308.15839},
year = {2023}
}