SDL-MVS：基于视图空间和深度可变形学习的遥感多视图立体重建
计算机视觉与模式识别
2024-05-28 v1
摘要
基于遥感图像的多视图立体技术推动了大规模城市 3D 重建的发展。然而，遥感多视图图像数据在获取过程中受到遮挡和视图间亮度不均等问题的影响，导致深度估计细节模糊。为解决上述问题，我们重新审视了多视图立体任务中的可变形学习方法，提出一种基于视图空间和深度可变形学习 (SDL-MVS) 的新范式，旨在学习不同视图空间中特征的可变形相互作用，并可变形地建模深度范围和间隔，以实现高精度深度估计。具体而言，为解决由遮挡和亮度不均导致的视图噪声问题，我们提出了渐进式空间可变形采样 (PSS) 机制，该机制以分层方式对 3D 体素空间和 2D 图像空间中的采样点进行可变形学习，从而在自适应方式嵌入源特征到参考特征。为进一步优化深度，我们引入深度假设可变形离散化 (DHD)，通过自适应调整深度范围假设并对深度间隔假设进行可变形离散化，实现对深度先验的精确定位。最后，我们的 SDL-MVS 通过视图空间和深度的可变形学习范式，对在多视图立体中面临的遮挡和亮度不均问题进行显式建模，实现了精准的多视图深度估计。广泛的实验表明，SDL-MVS 在 LuoJia-MVS 和 WHU 数据集上达到了最先进的性能。值得注意的是，在仅使用三个视图作为输入的前提下，SDL-MVS 在 LuoJia-MVS 数据集上的平均绝对误差 (MAE) 为 0.086，<0.6m 的准确率为 98.9%，<3 区间的准确率也达到了 98.9%。
引用
@article{arxiv.2405.17140,
title = {SDL-MVS: View Space and Depth Deformable Learning Paradigm for Multi-View Stereo Reconstruction in Remote Sensing},
author = {Yong-Qiang Mao and Hanbo Bi and Liangyu Xu and Kaiqiang Chen and Zhirui Wang and Xian Sun and Kun Fu},
journal= {arXiv preprint arXiv:2405.17140},
year = {2024}
}