基于头戴式传感器的实时模拟化身

我们提出了 SimXR，一种利用从 AR/VR 头戴设备获取的信息（头显位姿和摄像头）来控制模拟化身的方法。由于头戴式摄像头的视角具有挑战性，人体往往被裁剪出视野，使得传统的基于图像的以自我为中心的位姿估计变得困难。另一方面，头显位姿提供了关于整体身体运动的宝贵信息，但缺乏关于手和脚的细粒度细节。为了协同头显位姿与摄像头，我们控制一个人形模型跟踪头显运动，同时分析输入图像以决定身体运动。当身体部位可见时，手和脚的运动将由图像引导；当不可见时，物理定律将引导控制器生成合理的运动。我们设计了一种端到端方法，不依赖任何中间表示，学习直接从图像和头显位姿映射到人形控制信号。为了训练我们的方法，我们还提出了一个大规模合成数据集，该数据集使用与商用 VR 头显（Quest 2）兼容的摄像头配置创建，并在真实世界捕捉数据上展示了有希望的结果。为了展示我们框架的适用性，我们还在配备前向摄像头的 AR 头显上对其进行了测试。