从热图像中最大化自监督以实现深度与自运动的有效自监督学习
机器人学
2022-06-16 v2 计算机视觉与模式识别
摘要
近来,从热图像中进行深度与自运动(self-motion,即 ego-motion)的自监督学习在挑战性场景下展现出较强的鲁棒性与可靠性。然而,热图像固有的属性,如弱对比度、边缘模糊和噪声,阻碍了从热图像中产生有效的自监督信号。因此,多数研究依赖于额外的自监督来源,如光照良好的 RGB 图像、生成模型和激光雷达信息。本文对导致热图像自监督退化的热图像特性进行了深入分析。基于该分析,我们提出了一种有效的热图像映射方法,在保持时间一致性的同时显著增强了图像信息,如整体结构、对比度和细节。所提方法在不借助额外 RGB 引导的情况下,取得了优于以往最优网络的深度与位姿结果。
引用
@article{arxiv.2201.04387,
title = {Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion},
author = {Ukcheol Shin and Kyunghyun Lee and Byeong-Uk Lee and In So Kweon},
journal= {arXiv preprint arXiv:2201.04387},
year = {2022}
}
备注
8 pages, Accepted by IEEE Robotics and Automation Letters (RA-L) with IROS 2022 option