融合运动恢复结构与仿真增强的光流位姿回归以应对挑战性室内环境
计算机视觉与模式识别
2024-10-08 v4 人工智能
摘要
物体定位是机器人、虚拟与增强现实以及仓库货物搬运等多种应用中的关键任务。深度学习的最新进展使得利用单目视觉相机进行定位成为可能。虽然运动恢复结构 (SfM) 从点云预测绝对位姿，但绝对位姿回归 (APR) 方法通过神经网络学习对环境的语义理解。然而，这两个领域都面临由环境引起的挑战，如运动模糊、光照变化、重复图案和无特征结构。本研究旨在通过引入额外信息并利用相对位姿回归 (RPR) 方法对绝对位姿进行正则化来应对这些挑战。RPR 方法面临不同的挑战，即运动模糊。连续图像间的光流使用 Lucas-Kanade 算法计算，相对位姿使用一个辅助的小型循环卷积网络预测。由于全局与局部坐标系之间的不匹配，绝对与相对位姿的融合是一项复杂任务。融合绝对与相对位姿的先进方法使用位姿图优化 (PGO) 以利用相对位姿正则化绝对位姿预测。在本工作中，我们提出循环融合网络以最优对齐绝对与相对位姿预测，从而改进绝对位姿预测。我们评估了八种不同的循环单元，并构建了一个仿真环境以预训练 APR 和 RPR 网络以获得更好的泛化训练。此外，我们在一个模拟含搬运机器人仓库的挑战性大规模室内环境中记录了不同场景的大型数据库。我们进行了超参数搜索与实验，以展示我们的循环融合方法相对于 PGO 的有效性。
引用
@article{arxiv.2304.07250,
title = {Fusing Structure from Motion and Simulation-Augmented Pose Regression from Optical Flow for Challenging Indoor Environments},
author = {Felix Ott and Lucas Heublein and David Rügamer and Bernd Bischl and Christopher Mutschler},
journal= {arXiv preprint arXiv:2304.07250},
year = {2024}
}