在自我感知的世界中估计身体和手部运动
计算机视觉与模式识别
2024-12-18 v3 人工智能
摘要
我们提出了EgoAllo，一个用于从头戴式设备进行人体运动估计的系统。仅使用仅用自我中心的SLAM位姿和图像，EgoAllo引导从条件扩散模型中进行采样，以估计能够捕捉设备佩戴者在场景的异我中心坐标系中动作的身体姿态、高度和手部参数。为了实现这一目标，我们的关键洞察在于表示：我们提出了用于提高模型性能的空间和时间不变性准则，并由此推导出一种头部运动条件参数化方法，可将估计性能提升高达18%。我们还展示了我们系统估计的身体如何能够改进手部估计：由此产生的运动学和时序约束可以将单帧估计中的世界坐标系误差降低40%。项目页面：https://egoallo.github.io/
引用
@article{arxiv.2410.03665,
title = {Estimating Body and Hand Motion in an Ego-sensed World},
author = {Brent Yi and Vickie Ye and Maya Zheng and Yunqi Li and Lea Müller and Georgios Pavlakos and Yi Ma and Jitendra Malik and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2410.03665},
year = {2024}
}
备注
Project page: https://egoallo.github.io/