PCDepth：基于模式互补学习的单目深度估计兼取两者之长
计算机视觉与模式识别
2024-03-01 v1
摘要
事件相机能够以高时间分辨率记录场景动态，即使在低光照条件下也能为单目深度估计（MDE）提供丰富的场景细节。因此，现有的 MDE 互补学习方法融合了来自图像的强度信息和来自事件数据的场景细节，以实现更好的场景理解。然而，大多数方法直接在像素级融合两种模态，忽略了吸引人的互补性主要影响仅占少数像素的高级模式。例如，事件数据很可能补充场景物体的轮廓。在本文中，我们将场景离散化为一组高级模式以探索互补性，并提出了一种用于单目深度估计的基于模式的互补学习架构（PCDepth）。具体而言，PCDepth 包含两个主要组件：一个用于将场景离散化为高级模式并跨模态整合互补模式的互补视觉表示学习模块，以及一个旨在进行场景重建和深度预测同时保持效率与准确性平衡的精炼深度估计器。通过基于模式的互补学习，PCDepth 充分利用了两种模态，实现了比现有方法更准确的预测，尤其是在具有挑战性的夜间场景中。在 MVSEC 和 DSEC 数据集上的大量实验验证了我们 PCDepth 的有效性和优越性。值得注意的是，与最先进的方法相比，PCDepth 在 MVSEC 夜间场景中的准确率提高了 37.9%。
引用
@article{arxiv.2402.18925,
title = {PCDepth: Pattern-based Complementary Learning for Monocular Depth Estimation by Best of Both Worlds},
author = {Haotian Liu and Sanqing Qu and Fan Lu and Zongtao Bu and Florian Roehrbein and Alois Knoll and Guang Chen},
journal= {arXiv preprint arXiv:2402.18925},
year = {2024}
}
备注
Under Review