DeepTIO：一种具有视觉幻觉的深度热-惯性里程计
计算机视觉与模式识别
2020-01-22 v2 机器学习
机器人学
摘要
视觉里程计在广泛的环境条件下表现出优异的性能。然而，在视觉受限场景（如浓烟或黑暗）中，位姿估计会退化甚至失效。热像仪常用于环境能见度低时的感知与巡检。然而，由于缺乏鲁棒的视觉特征，其在里程计估计中的应用受到阻碍。这部分是由于传感器测量的是环境温度分布而非场景外观与几何结构。为克服该问题，我们提出了一种用于热-惯性里程计（DeepTIO）的深度神经网络模型，通过引入视觉幻觉网络为热成像网络提供互补信息。该幻觉网络被教导利用 Huber 损失从热图像中预测虚假视觉特征。我们还采用选择性融合来注意力式地融合来自三种不同模态（即热、幻觉与惯性特征）的特征。在手持与移动机器人数据上于良好与充满烟雾的环境中进行了大量实验，表明了所提模型的有效性。
引用
@article{arxiv.1909.07231,
title = {DeepTIO: A Deep Thermal-Inertial Odometry with Visual Hallucination},
author = {Muhamad Risqi U. Saputra and Pedro P. B. de Gusmao and Chris Xiaoxuan Lu and Yasin Almalioglu and Stefano Rosa and Changhao Chen and Johan Wahlström and Wei Wang and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:1909.07231},
year = {2020}
}
备注
Accepted to IEEE Robotics and Automation Letters (RAL)