重新思考遥感立体匹配网络泛化性的关键因素
计算机视觉与模式识别
2024-08-15 v1
摘要
立体匹配是三维重建的关键步骤，目前已完全转向基于深度学习的方法，这得益于其强大的遥感图像特征提取能力。然而，立体匹配任务的真值依赖于昂贵的机载LiDAR数据，这使得获取足够的监督学习样本变得困难。为了提高立体匹配网络在不同传感器和场景下的泛化能力，本文从三个关键训练因素进行了研究。（1）对于训练数据集的选择，应选择与测试集具有相似区域分布的数据，而非仅仅使用同一传感器的数据。（2）对于模型结构，应优先采用能灵活适应不同特征尺寸的级联结构。（3）对于训练方法，无监督方法比监督方法具有更好的泛化性能，我们设计了一种无监督的早停策略，以帮助保留基于预训练权重的最佳模型。基于上述发现，我们进行了大量实验，并在此基础上提出了一个具有良好泛化性能的无监督立体匹配网络。我们已在 https://github.com/Elenairene/RKF_RSSM 公开了代码和数据集，以促进后续研究。
引用
@article{arxiv.2408.07613,
title = {Rethinking the Key Factors for the Generalization of Remote Sensing Stereo Matching Networks},
author = {Liting Jiang and Feng Wang and Wenyi Zhang and Peifeng Li and Hongjian You and Yuming Xiang},
journal= {arXiv preprint arXiv:2408.07613},
year = {2024}
}
备注
submitted to IEEE jstars