EgoLocate：基于稀疏穿戴式传感器的实时动作捕捉、定位与建图
计算机视觉与模式识别
2023-05-03 v1 图形学
摘要
人体感知与环境感知是计算机视觉与图形学中的两个重要课题。人体运动常由惯性传感器捕捉，而环境大多通过相机重建。我们将这两种技术集成于 EgoLocate 中，这是一个利用稀疏穿戴式传感器（包括 6 个惯性测量单元（IMUs）和单目手机相机）实时同步进行人体动作捕捉（mocap）、定位与建图的系统。一方面，惯性动作捕捉因缺乏全局定位信号而存在较大平移漂移。EgoLocate 借助基于图像的同时定位与建图（SLAM）技术将人定位至重建场景中。另一方面，SLAM 在视觉特征匮乏时常常失效。EgoLocate 引入惯性动作捕捉为相机运动提供强先验。实验表明，相较于两领域各自的最先进技术（SOTA），定位这一两领域的共同关键挑战经我们的技术得到大幅改善。我们的代码已发布于 https://xinyu-yi.github.io/EgoLocate/ 供研究使用。
引用
@article{arxiv.2305.01599,
title = {EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors},
author = {Xinyu Yi and Yuxiao Zhou and Marc Habermann and Vladislav Golyanik and Shaohua Pan and Christian Theobalt and Feng Xu},
journal= {arXiv preprint arXiv:2305.01599},
year = {2023}
}
备注
Accepted by SIGGRAPH 2023. Project page: https://xinyu-yi.github.io/EgoLocate/