基于SSI深度的尺度不变单目深度估计
计算机视觉与模式识别
2024-06-14 v1
摘要
现有方法用于尺度不变单目深度估计（SI MDE）常常因任务复杂以及数据集有限且缺乏多样性而在现实场景中难以实现良好泛化。相较之下，基于偏移-尺度不变（shift-and-scale-invariant, SSI）深度估计简化了任务，能够利用丰富的立体数据集实现高性能。我们提出了一种新方法，利用SSI输入来增强SI深度估计，简化网络角色，同时仅使用合成数据集即可实现SI深度估计的野外泛化。强调生成高分辨率细节，我们引入了一种新型稀疏序数损失，显著改进了SSI MDE中细节的生成，解决了现有方法的关键局限性。通过野外定性示例和零样本评估，我们证实了该方法在计算摄影应用中的实际实用性，展示了其在多样化场景中生成高细节度SI深度图并实现泛化的能力。
引用
@article{arxiv.2406.09374,
title = {Scale-Invariant Monocular Depth Estimation via SSI Depth},
author = {S. Mahdi H. Miangoleh and Mahesh Reddy and Yağız Aksoy},
journal= {arXiv preprint arXiv:2406.09374},
year = {2024}
}
备注
To appear in Proc. SIGGRAPH, 2024. Project webpage: https://yaksoy.github.io/sidepth/