通过热-激光雷达融合实现全天候深度完成
计算机视觉与模式识别
2025-04-04 v1 机器人学
摘要
深度完成技术通过稀疏激光雷达和 RGB 图像估计稠密深度，在明亮条件下表现优异。然而，由于 RGB 传感器的局限性，现有方法在严酷环境（如大雨和低光条件）下往往难以实现可靠性能。此外，我们注意到，真实深度图在恶劣天气条件下（如大雨）常常存在大量缺失测量，导致监督不足。相比之下，热成像摄像机在此类条件下能提供清晰可靠的可见性，但热-激光雷达深度完成的研究仍属underexplored。此外，热像图像的特征（如模糊、低对比度和噪声）带来不清晰的深度边界问题。为解决这些挑战，我们首先通过在 MS 和 ViViD 数据集上进行大规模基准测试，评估热-激光雷达深度完成在多样化光照（如明亮、低光）、天气（如晴朗、雨天）和环境（如室内、户外）条件下的可行性和鲁棒性。此外，我们提出一种框架利用对比学习和伪监督 (COPS) 来增强深度边界清晰度并提高完成精度，具体方法是利用深度基础模型的两种关键方式：第一，COPS 通过挖掘正负样本，在不同深度点之间强制执行深度感知对比损失，以锐化深度边界；第二，利用基础模型的预测作为稠密深度先验，缓解真实深度图因缺失监督导致的问题。我们还对热-激光雷达深度完成的关键挑战进行深入分析，以帮助理解该任务并鼓励未来研究。
引用
@article{arxiv.2504.02356,
title = {All-day Depth Completion via Thermal-LiDAR Fusion},
author = {Janghyun Kim and Minseong Kweon and Jinsun Park and Ukcheol Shin},
journal= {arXiv preprint arXiv:2504.02356},
year = {2025}
}