GAM-Depth：利用梯度感知掩码与语义约束的自监督室内深度估计
计算机视觉与模式识别
2024-02-23 v1
摘要
自监督深度估计已演变为一种最小化光度损失图像重建任务。尽管最近的方法在室内深度估计方面取得了进展，但它们通常在无纹理区域产生不一致的深度估计，并且在物体边界处的深度差异令人不满意。为了解决这些问题，在本工作中，我们提出了 GAM-Depth，其基于两个新颖组件：梯度感知掩码和语义约束。梯度感知掩码通过基于梯度幅值分配权重，为关键区域和无纹理区域提供自适应且鲁棒的监督。将语义约束纳入室内自监督深度估计，利用协同优化网络和源自预训练分割模型的代理语义标签，改善了物体边界处的深度差异。在包括 NYUv2、ScanNet 和 InteriorNet 在内的三个室内数据集上的实验研究表明，GAM-Depth 优于现有方法并达到了 SOTA 性能，标志着室内深度估计向前迈出了有意义的一步。我们的代码将在 https://github.com/AnqiCheng1234/GAM-Depth 提供。
引用
@article{arxiv.2402.14354,
title = {GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints},
author = {Anqi Cheng and Zhiyuan Yang and Haiyue Zhu and Kezhi Mao},
journal= {arXiv preprint arXiv:2402.14354},
year = {2024}
}
备注
To be published in 2024 IEEE International Conference on Robotics and Automation (ICRA)