中文

增强式三维 Egocentric 定位的混合结构-from-motion和相机重定位方法

计算机视觉与模式识别 2024-07-12 v1

摘要

我们构建了主要受EgoLoc启发的管道EgoLoc-v1。我们提出了一种模型集成策略来提高VQ3D任务中相机姿态估计部分的性能,这一点已被证明是前期工作中至关重要的。核心思想不仅为习惯性视频进行SfM,还在现有3D扫描和2D视频帧之间进行2D-3D匹配。如此一来,我们拥有了一种混合SfM和相机重定位的管道,这为我们提供了更多的相机姿态,从而实现更高的QwP和整体成功率。我们的方法在最重要的指标——整体成功率方面达到了最佳性能。我们超越了最具竞争力的EgoLoc,提升了1.5%。代码可在 \url{https://github.com/Wayne-Mai/egoloc_v1} 获取。

关键词

引用

@article{arxiv.2407.08023,
  title  = {Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization},
  author = {Jinjie Mai and Abdullah Hamdi and Silvio Giancola and Chen Zhao and Bernard Ghanem},
  journal= {arXiv preprint arXiv:2407.08023},
  year   = {2024}
}

备注

1st place winner of the 2024 Ego4D-Ego-Exo4D Challenge in VQ3D