MultiDepth: 利用多样本先验优化室内场景的单目度量深度估计
计算机视觉与模式识别
2024-11-05 v1
摘要
单目度量深度估计（MMDE）是解决边缘设备上室内场景重建的关键任务。尽管如此，现有模型对场景中物体边界频率和场景复杂度等因素敏感，未能充分捕捉许多室内场景。在本工作中，我们通过利用最先进的MMDE模型进行单目度量深度优化（MMDR）来弥补这一差距。MultiDepth通过从给定图像中采样连同预训练MMDE模型做出的初始深度图预测来提出解决方案。与现有的迭代深度优化技术相比，MultiDepth不将其架构的一部分包含法线图预测，有效降低了模型规模和计算开销，同时从优化迭代中输出有影响力的变化。MultiDepth为优化网络实现了一个轻量级编码器-解码器架构，处理来自给定图像的多个样本，包括分割掩码。我们在四个数据集上评估了MultiDepth并与最先进方法进行比较，以证明其以最小开销实现有效优化，精度提升高达45%。
引用
@article{arxiv.2411.01048,
title = {MultiDepth: Multi-Sample Priors for Refining Monocular Metric Depth Estimations in Indoor Scenes},
author = {Sanghyun Byun and Jacob Song and Woo Seong Chung},
journal= {arXiv preprint arXiv:2411.01048},
year = {2024}
}