增强式三维 Egocentric 定位的混合结构-from-motion和相机重定位方法
计算机视觉与模式识别
2024-07-12 v1
摘要
我们构建了主要受EgoLoc启发的管道EgoLoc-v1。我们提出了一种模型集成策略来提高VQ3D任务中相机姿态估计部分的性能,这一点已被证明是前期工作中至关重要的。核心思想不仅为习惯性视频进行SfM,还在现有3D扫描和2D视频帧之间进行2D-3D匹配。如此一来,我们拥有了一种混合SfM和相机重定位的管道,这为我们提供了更多的相机姿态,从而实现更高的QwP和整体成功率。我们的方法在最重要的指标——整体成功率方面达到了最佳性能。我们超越了最具竞争力的EgoLoc,提升了1.5%。代码可在 \url{https://github.com/Wayne-Mai/egoloc_v1} 获取。
引用
@article{arxiv.2407.08023,
title = {Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization},
author = {Jinjie Mai and Abdullah Hamdi and Silvio Giancola and Chen Zhao and Bernard Ghanem},
journal= {arXiv preprint arXiv:2407.08023},
year = {2024}
}
备注
1st place winner of the 2024 Ego4D-Ego-Exo4D Challenge in VQ3D