基准测试视觉-惯性深度多模态融合用于相对位姿回归与里程计辅助的绝对位姿回归
计算机视觉与模式识别
2023-08-07 v3
摘要
视觉-惯性定位是计算机视觉与机器人应用（如虚拟现实、自动驾驶汽车和飞行器）中的关键问题。其目标是在环境或动力学已知时估计物体的准确位姿。绝对位姿回归（APR）技术利用卷积和时空网络从已知场景的图像输入中直接回归绝对位姿。里程计方法执行相对位姿回归（RPR），从已知物体动力学（视觉或惯性输入）预测相对位姿。通过从两个数据源检索信息以构建跨模态设置，可改进定位任务，但由于任务相互矛盾，这是一个具有挑战性的问题。在本工作中，我们进行了基准测试，以评估基于位姿图优化和注意力网络的深度多模态融合。辅助学习和贝叶斯学习被用于 APR 任务。我们展示了在飞行器和手持设备的 APR-RPR 任务以及 RPR-RPR 任务上的精度提升。我们在 EuRoC MAV 和 PennCOSYVIO 数据集上进行了实验，并记录和评估了一个新颖的工业数据集。
引用
@article{arxiv.2208.00919,
title = {Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression},
author = {Felix Ott and Nisha Lakshmana Raichur and David Rügamer and Tobias Feigl and Heiko Neumann and Bernd Bischl and Christopher Mutschler},
journal= {arXiv preprint arXiv:2208.00919},
year = {2023}
}
备注
Under review