面向神经视觉-惯性里程计的选择性传感器融合
计算机视觉与模式识别
2019-03-06 v1 人工智能
机器学习
机器人学
摘要
视觉-惯性里程计(VIO)的深度学习方法已被证明是成功的，但它们很少关注引入鲁棒融合策略以处理不完美的输入传感数据。我们提出了一种新颖的端到端选择性传感器融合框架用于单目VIO，该框架融合单目图像与惯性测量，以估计轨迹并提升对现实问题的鲁棒性，例如数据缺失与损坏或传感器同步不良。具体而言，我们基于不同的掩码策略提出了两种融合模态：确定性软融合与随机硬融合，并与先前提出的直接融合基线进行比较。在测试期间，网络能够选择性地处理可用传感器模态的特征，并输出具有尺度的轨迹。我们在三个公开的自动驾驶、微型飞行器(MAV)和手持VIO数据集上对所提方法的性能进行了深入评估。结果表明了融合策略的有效性，相较于直接融合其提供了更优的性能，尤其在存在损坏数据时。此外，我们通过在不同场景和不同数据损坏下可视化掩码层来研究融合网络的可解释性，揭示了融合网络与不完美传感输入数据之间有趣的相关性。
引用
@article{arxiv.1903.01534,
title = {Selective Sensor Fusion for Neural Visual-Inertial Odometry},
author = {Changhao Chen and Stefano Rosa and Yishu Miao and Chris Xiaoxuan Lu and Wei Wu and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:1903.01534},
year = {2019}
}
备注
Accepted by CVPR 2019