魔鬼在边缘：基于边缘感知一致性融合的单目深度估计
计算机视觉与模式识别
2024-04-02 v1
摘要
本文提出了一种新颖的单目深度估计方法，名为ECFNet，用于从单张RGB图像中估计具有清晰边缘和有效整体结构的高质量单目深度。我们深入探究了影响MDE网络边缘深度估计的关键因素，并得出推论：边缘信息本身在预测深度细节中起着至关重要的作用。在此分析的驱动下，我们提出显式地将图像边缘作为ECFNet的输入，并融合来自不同来源的初始深度以生成最终深度。具体而言，ECFNet首先使用混合边缘检测策略从输入图像中获取边缘图和边缘突出图像，然后利用预训练的MDE网络推断上述三张图像的初始深度。之后，ECFNet利用分层融合模块(LFM)融合初始深度，该深度将进一步由深度一致性模块(DCM)更新以形成最终估计。在公开数据集上的大量实验结果和消融研究表明，我们的方法达到了SOTA性能。项目页面：https://zrealli.github.io/edgedepth。
引用
@article{arxiv.2404.00373,
title = {The Devil is in the Edges: Monocular Depth Estimation with Edge-aware Consistency Fusion},
author = {Pengzhi Li and Yikang Ding and Haohan Wang and Chengshuai Tang and Zhiheng Li},
journal= {arXiv preprint arXiv:2404.00373},
year = {2024}
}
备注
17 pages, 19 figures