QuestSim：基于模拟虚拟角色从稀疏传感器进行人体运动追踪
计算机视觉与模式识别
2022-09-21 v1 图形学
摘要
人体运动的实时追踪对于AR/VR中的交互式和沉浸式体验至关重要。然而，来自独立可穿戴设备（如HMD（头戴式设备）或AR眼镜）的关于身体的传感器数据非常有限。在本工作中，我们提出一个强化学习框架，其接收来自HMD和两个控制器的稀疏信号，并模拟合理且物理有效的全身运动。在训练期间使用高质量全身运动作为密集监督，一个简单的策略网络可学习为角色输出适当的力矩以平衡、行走和慢跑，同时紧密跟随输入信号。我们的结果展示了在没有下半身任何观测的情况下，甚至当输入仅为HMD的6D变换时，与真实值惊人相似的腿部运动。我们还展示单一策略可对多样化运动风格、不同身体尺寸和新环境具有鲁棒性。
引用
@article{arxiv.2209.09391,
title = {QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars},
author = {Alexander Winkler and Jungdam Won and Yuting Ye},
journal= {arXiv preprint arXiv:2209.09391},
year = {2022}
}