中文

DEPTHOR++:基于真实轻量级dToF与RGB引导的鲁健深度增强

计算机视觉与模式识别 2025-10-01 v1

摘要

深度增强将原始dToF信号转换为稠密深度图并利用RGB引导,对于提高高精度任务(如3D重建和SLAM)中的深度感知至关重要。然而,现有方法常假设理想的dToF输入和完美的dToF-RGB对齐,忽视了校准误差和异常值,从而限制了实际应用的可行性。本工作系统性地分析了真实世界轻量级dToF传感器的噪声特征,提出一种实用且新颖的深度完成框架DEPTHOR++,从三个关键方面提升对噪声dToF输入的鲁健性。首先,我们引入一种基于合成数据集的仿真方法,用于生成真实逼真的训练样本以实现稳健的模型训练。其次,我们提出一种无需可学习参数的异常检测机制,以识别并删除错误的dToF测量值,防止在完成过程中产生误导性的传播。最后,我们设计了一个针对噪声dToF输入的深度完成网络,该网络整合RGB图像和预训练的单目深度估计先验,以改善在挑战性区域的深度恢复。在ZJU-L5数据集和真实世界样本上,我们的训练策略显著提升了现有深度完成模型的性能,本模型在平均RMSE和Rel指标上分别提升了22%和11%。在Mirror3D-NYU数据集上,凭借异常检测方法,本模型在镜像区域的性能较前所未有的SOTA提升了37%。在Hammer数据集上,使用来自RealSense L515的模拟低成本dToF数据,本方法的平均性能优于L515测量值,提升了22%,表明其潜力足以使低成本传感器超越高端设备。多样化真实世界数据集的定性结果进一步验证了该方法的有效性和广泛适用性。

关键词

引用

@article{arxiv.2509.26498,
  title  = {DEPTHOR++: Robust Depth Enhancement from a Real-World Lightweight dToF and RGB Guidance},
  author = {Jijun Xiang and Longliang Liu and Xuan Zhu and Xianqi Wang and Min Lin and Xin Yang},
  journal= {arXiv preprint arXiv:2509.26498},
  year   = {2025}
}

备注

15 pages, 16 figures