利用半全局匹配结果微调立体匹配深度学习模型
计算机视觉与模式识别
2022-05-30 v1
摘要
深度学习(DL)方法因其所报道的高精度而被广泛研究用于立体图像匹配任务。然而,它们的可迁移性/泛化能力受训练数据中可见样本的限制。卫星图像覆盖具有位置、内容、地表覆盖和空间模式差异的大尺度区域,我们预期其性能会受到影响。增加训练数据的数量和多样性始终是一种选择,但由于地面真实视差在遥感中因成本高而有限,几乎不可能获取所有位置的地面真实值。鉴于基于 Census 的半全局匹配(SGM)等经典立体匹配方法被广泛用于处理各类立体数据,我们因此提出一种微调方法,利用在目标立体数据上由 SGM 导出的视差图。我们提出的方法采用一种简单策略,利用 SGM 算法导出的能量图筛选高置信度视差测量值,同时利用图像将这些筛选出的视差测量值限制在纹理丰富区域。我们的方法旨在探究在不要求目标数据地面真实值的前提下,提升当前 DL 方法对未见目标数据可迁移性的可能性。为开展全面研究,我们选取全球 20 个研究站点以涵盖多种复杂度和密度。我们选取成熟的 DL 方法如几何与上下文网络(GCNet)、金字塔立体匹配网络(PSMNet)和 LEAStereo 进行评估。我们的结果表明,DL 方法在不同区域间的可迁移性在视觉和数值上均得到提升。
引用
@article{arxiv.2205.14051,
title = {Fine-tuning deep learning models for stereo matching using results from semi-global matching},
author = {Hessah Albanwan and Rongjun Qin},
journal= {arXiv preprint arXiv:2205.14051},
year = {2022}
}
备注
6 figures