iDisc：用于单目深度估计的内部离散化方法
计算机视觉与模式识别
2023-04-14 v1
摘要
单目深度估计对于3D场景理解及下游应用至关重要。然而，即使在监督设定下，由于缺乏完整几何约束，其仍具挑战且为病态问题。尽管场景可由数百万像素组成，但高层模式较少。我们提出iDisc以通过内部离散化表示学习这些模式。该方法隐式地将场景划分为一组高层模式。具体而言，我们的新模块内部离散化(ID)实现了连续-离散-连续瓶颈以无监督地学习这些概念。与最先进方法不同，所提模型不对深度输出施加任何显式约束或先验。得益于基于注意力的瓶颈模块，带有ID模块的整个网络可端到端训练。我们的方法在NYU-Depth v2与KITTI上取得显著改进的新SOTA，在官方KITTI基准上优于所有已发表方法。iDisc在表面法线估计上亦可达到SOTA结果。进一步，我们通过零样本测试探究模型泛化能力。我们观察到促进户外场景多样化的迫切需求。因此，我们引入了两个自动驾驶数据集DDAD与Argoverse的划分。代码见 http://vis.xyz/pub/idisc 。
引用
@article{arxiv.2304.06334,
title = {iDisc: Internal Discretization for Monocular Depth Estimation},
author = {Luigi Piccinelli and Christos Sakaridis and Fisher Yu},
journal= {arXiv preprint arXiv:2304.06334},
year = {2023}
}
备注
Accepted at CVPR 2023