面向单一佩戴式头显设备的环境感知运动生成
计算机视觉与模式识别
2025-03-04 v2
摘要
本文探讨了如何利用单一佩戴式头显设备（搭载 outward-facing 彩色摄像头并具备视觉SLAM能力）生成逼真的全身人体运动。为解决该装置 setup 模式下的歧义问题，本文提出了 HMD^2—a 新颖系统，用于平衡运动重建与生成。从重建角度看，HMD^2 旨在最大化利用摄像头数据流，生成包括头部运动、SLAM 点云和图像嵌入在内的解析特征与学习特征。生成端方面，HMD^2 采用基于 Transformer 架构的多模态条件运动扩散模型，以保持生成运动的时序一致性，并利用自回归填充技术实现低延迟（0.17秒）的在线运动推断。我们展示了该系统为处理来自复杂室内外环境超过 200 小时运动数据的有效且稳健的解决方案。
引用
@article{arxiv.2409.13426,
title = {HMD^2: Environment-aware Motion Generation from Single Egocentric Head-Mounted Device},
author = {Vladimir Guzov and Yifeng Jiang and Fangzhou Hong and Gerard Pons-Moll and Richard Newcombe and C. Karen Liu and Yuting Ye and Lingni Ma},
journal= {arXiv preprint arXiv:2409.13426},
year = {2025}
}
备注
International Conference on 3D Vision 2025 (3DV 2025)