基于 Vertical CutDepth 的全局-局部路径网络用于单目深度估计
计算机视觉与模式识别
2022-11-01 v3
摘要
从单幅图像进行深度估计是一项重要任务，可应用于计算机视觉的多个领域，并随着卷积神经网络的发展而迅速增长。本文中，我们提出了一种用于单目深度估计的新型结构与训练策略，以进一步提高网络的预测精度。我们部署分层 transformer 编码器以捕获并传递全局上下文，并设计了一个轻量但强大的解码器，在考虑局部连接性的同时生成估计深度图。通过我们提出的选择性特征融合模块在多尺度局部特征与全局解码流之间构建连接路径，网络能够整合两种表示并恢复精细细节。此外，所提出的解码器以显著更低的计算复杂度展现出优于先前提出的解码器的性能。进一步地，我们利用深度估计中的一项重要观察改进了深度专用增强方法以增强模型。我们的网络在具有挑战性的深度数据集 NYU Depth V2 上取得了最先进的性能。我们进行了大量实验以验证并展示所提方法的有效性。最后，我们的模型展现出优于其他对比模型的泛化能力与鲁棒性。
引用
@article{arxiv.2201.07436,
title = {Global-Local Path Networks for Monocular Depth Estimation with Vertical CutDepth},
author = {Doyeon Kim and Woonghyun Ka and Pyungwhan Ahn and Donggyu Joo and Sehwan Chun and Junmo Kim},
journal= {arXiv preprint arXiv:2201.07436},
year = {2022}
}
备注
11pages, 5 figures