热成像深度估计：数据集、基准与挑战

在恶劣天气和光照条件下实现稳健且准确的空间感知对于自主驾驶车辆和机器人具备高水平自主性至关重要。然而，依赖可见光谱的现有感知算法在天气和光照条件下表现高度受限。长波红外摄像头（即热成像摄像头）可能是实现高水平鲁棒性的解决方案。然而，缺乏大规模数据集和标准化基准仍是活跃研究中实现稳健视觉感知从热成像图像方面取得进展的主要瓶颈。为此，本文提供了一个大规模的多光谱立体（MS$^2$）数据集，包含立体RGB、立体NIR、立体热成像、立体LiDAR数据以及GNSS/IMU信息和半密集深度真实值。MS$^2$数据集包括16.2万组同步的多模态数据对，覆盖多种地理位置（如城市、住宅区、校园和高速公路），不同时间（如清晨、白天和夜间）以及各种天气条件（如晴天、阴天和雨天）。其次，我们对单目和立体深度估计网络在RGB、NIR和热成像模态上进行了彻底的评估，以在MS$^2$深度测试集（如白天、夜间和雨天）上建立标准化基准结果。最后，我们提供深入分析，讨论基准结果揭示的挑战，如每个模态在恶劣条件下的性能波动、不同传感器模态之间的域迁移问题，以及热感知潜在的研究方向。我们的数据集和源代码已公开提供，地址分别为 https://sites.google.com/view/multi-spectral-stereo-dataset 和 https://github.com/UkcheolShin/SupDepth4Thermal。