轻量 ToF 传感器单目图像自监督深度增强
计算机视觉与模式识别
2025-06-18 v2
摘要
使用配对的高分辨率 RGB 图像对深度图进行增强，为提高轻量 ToF 传感器的低分辨率深度数据提供了经济有效的解决方案。然而，单纯采用深度估计流程融合两种模态数据需要监督深度图。为此，我们提出了自监督学习框架 SelfToF，以生成详细且尺度感知的深度图。我们从基于图像的自监督深度估计管道开始，加入低分辨率深度作为输入，设计新的深度一致性损失，提出尺度恢复模块，最终获得显著性能提升。此外，由于 ToF 信号稀疏度在实际应用中会有所变化，我们将 SelfToF 升级为 SelfToF*，采用子域卷积和引导特征融合。因此，SelfToF* 能在 ToF 数据的不同稀疏度下保持稳健的性能。总体而言，我们提出的方法在 NYU 和 ScanNet 数据集上经过广泛实验验证既高效又有效。代码已公开 available at \href{https://github.com/denyingmxd/selftof}{https://github.com/denyingmxd/selftof}。
引用
@article{arxiv.2506.13444,
title = {Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images},
author = {Laiyan Ding and Hualie Jiang and Jiwei Chen and Rui Huang},
journal= {arXiv preprint arXiv:2506.13444},
year = {2025}
}
备注
accepted by IROS 2025