从稀疏信号到平滑运动：滚动预测模型的实时运动生成
计算机视觉与模式识别
2025-04-08 v1
摘要
在增强现实（XR）中，生成用户的全身动作对于理解其动作、驱动其虚拟化身进行社交交互以及传达真实的存在感至关重要。虽然先前的工作聚焦于来自运动控制器的稀疏且始终可用输入信号，但许多 XR 应用倾向于使用基于视觉的手部跟踪，以减少用户摩擦并提升�沉浸感。相较于控制器，手部跟踪信号不够准确，且在一段时间内甚至可能缺失。为处理此类不可靠的输入，我们提出滚动预测模型（RPM），一种在线且实时的方法，可从稀疏输入信号（时间和空间稀疏）生成平滑的全身动作。我们的模型生成 1）与输入相匹配的准确动作（即跟踪模式）和 2）在输入缺失时生成合理的动作（即合成模式）。更重要的是，RPM 可无缝实现从跟踪到合成以及反之之间的平滑转换。为展示处理不可靠输入的实际重要性，我们提出 GORP 数据集，这是第一个来自商业虚拟现实（VR）头戴式设备的稀疏输入数据集，搭配高质量的身体动作基准。GORP 提供超过 14 小时的 VR 游戏数据，来自 28 位使用运动控制器（空间稀疏）和手部跟踪（空间和时间稀疏）的用户数据。我们在合成数据和 GORP 上对 RPM 与最新方法进行基准测试，凸显我们如何通过现实数据集和处理不可靠输入信号来弥合实际应用之间的差距。我们的代码、预训练模型和 GORP 数据集均可在项目网页上获取。
引用
@article{arxiv.2504.05265,
title = {From Sparse Signal to Smooth Motion: Real-Time Motion Generation with Rolling Prediction Models},
author = {German Barquero and Nadine Bertsch and Manojkumar Marramreddy and Carlos Chacón and Filippo Arcadu and Ferran Rigual and Nicky Sijia He and Cristina Palmero and Sergio Escalera and Yuting Ye and Robin Kips},
journal= {arXiv preprint arXiv:2504.05265},
year = {2025}
}
备注
Published in CVPR'25. Webpage: https://barquerogerman.github.io/RPM/