面向移动设备的灵活帧率视觉辅助惯性物体跟踪系统
计算机视觉与模式识别
2023-12-13 v1 机器人学
摘要
实时物体位姿估计与跟踪具有挑战性，但对新兴增强现实（AR）应用至关重要。总体而言，最先进的方法使用深度神经网络解决该问题，确实取得了令人满意的结果。然而，这些方法的高计算成本使其不适用于通常运行真实应用的移动设备。此外，头戴式显示器如 AR 眼镜需要至少 90~FPS 以避免晕动症，这进一步使问题复杂化。我们提出了一种面向移动设备的灵活帧率物体位姿估计与跟踪系统。它是一个具有客户端-服务器架构的单目视觉-惯性系统。惯性测量单元（IMU）位姿传播在客户端执行以实现高速跟踪，基于 RGB 图像的 3D 位姿估计在服务器端执行以获得精确位姿，随后位姿被发回客户端用于视觉-惯性融合，其中我们提出了偏置自校正机制以减少漂移。我们还提出了一种位姿检测算法以发现跟踪失败与不正确位姿估计。通过高速网络连接，我们的系统支持高达 120 FPS 的灵活帧率，并保障低端设备上的高精度与实时跟踪。仿真与真实世界实验均表明，我们的方法实现了准确且鲁棒的物体跟踪。
引用
@article{arxiv.2210.12476,
title = {A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for Mobile Devices},
author = {Yo-Chung Lau and Kuan-Wei Tseng and I-Ju Hsieh and Hsiao-Ching Tseng and Yi-Ping Hung},
journal= {arXiv preprint arXiv:2210.12476},
year = {2023}
}