基于结构不确定性建模与不准确GT深度拟合的真实世界深度恢复
计算机视觉与模式识别
2025-04-17 v1 人工智能
摘要
原始深度图中存在低质量结构，这使得近年来真实世界深度恢复成为关键任务。然而，现实世界缺乏配对的原始-真实值(raw-GT)数据为通用的深度恢复带来了挑战。现有方法未充分考虑原始深度图中结构错位的多样性，导致在真实世界深度恢复方面的泛化性差。值得注意的是，随机结构错位不仅限于原始深度数据，还影响真实世界数据集中的GT深度。在本方法中，我们从输入和输出两个角度解决泛化问题。对于输入，我们通过设计新的原始深度生成管线来丰富结构错位的多样性，有助于网络避免对特定条件过拟合。此外，设计了结构不确定性模块，以明确识别输入原始深度图中的错位结构，以更好地在未见情景中实现泛化。值得注意的是，经过训练的深度基础模型(DFM)可以帮助结构不确定性模块更好地估计结构不确定性。对于输出，设计了稳健特征对齐模块，以精确对齐RGB图像的准确结构，避免不准确GT深度的干扰。在多个数据集上进行大量实验表明，所提方法在各种挑战性的原始深度图上实现了竞争的精度和泛化能力。
引用
@article{arxiv.2504.11820,
title = {Real-World Depth Recovery via Structure Uncertainty Modeling and Inaccurate GT Depth Fitting},
author = {Delong Suzhang and Meng Yang},
journal= {arXiv preprint arXiv:2504.11820},
year = {2025}
}