基于深度学习的立体稠密匹配在航空图像及大规模立体数据集上的数据集偏移评估
计算机视觉与模式识别
2024-02-21 v1
摘要
稠密匹配对于三维场景重建至关重要，因为它能够从图像采集恢复场景的三维几何结构。基于深度学习（DL）的方法在计算机视觉领域的极线立体视差估计这一特例中已显示出有效性。基于深度学习的方法严重依赖于训练数据集的质量和数量。然而，在摄影测量社区中，为真实场景生成真值视差图仍然是一项具有挑战性的任务。为应对这一挑战，我们提出了一种直接从激光雷达（LiDAR）和图像生成真值视差图的方法，以构建一个大型且多样化的数据集，涵盖四个不同区域的六个航空数据集以及两个具有不同分辨率图像的区域。我们还向框架中引入了 LiDAR 到图像的配准细化，该步骤针对遮挡采取了特别预防措施，并避免视差插值以防止精度损失。我们在具有不同场景类型、图像分辨率和几何配置的数据集上评估了 11 种稠密匹配方法，并对数据集偏移进行了深入调查；结果显示，在训练和测试数据相同的情况下 GANet 表现最佳，PSMNet 在不同数据集间表现出鲁棒性，并且我们提出了在有限数据集下训练的最佳策略。我们将提供该数据集和训练模型；更多信息请访问 https://github.com/whuwuteng/Aerial_Stereo_Dataset。
引用
@article{arxiv.2402.12522,
title = {An evaluation of Deep Learning based stereo dense matching dataset shift from aerial images and a large scale stereo dataset},
author = {Teng Wu and Bruno Vallet and Marc Pierrot-Deseilligny and Ewelina Rupnik},
journal= {arXiv preprint arXiv:2402.12522},
year = {2024}
}