中文

面向基于深度学习的卫星多视立体匹配的有理多项式相机模型畸变校正

图像与视频处理 2021-09-24 v1 计算机视觉与模式识别

摘要

卫星多视立体(MVS)影像特别适用于大规模地球表面重建。与近景和航空相机常用的透视相机模型(针孔模型)不同,三次有理多项式相机(RPC)模型是推扫线阵卫星相机的主流模型。然而,主流基于学习的MVS方法中使用的单应畸变校正仅适用于针孔相机。为了将SOTA的基于学习的MVS技术应用于大规模地球表面重建的卫星MVS任务,应考虑RPC畸变校正。本工作中,我们首次提出了一个严格化的RPC畸变校正模块。有理多项式系数被记录为张量,RPC畸变校正被表述为一系列张量变换。基于RPC畸变校正,我们提出了基于深度学习的卫星MVS(SatMVS)框架,用于大规模、大深度范围地球表面重建。我们还引入了一个由519张5120×{\times}5120图像组成的大规模卫星图像数据集,称之为TLC SatMVS数据集。卫星图像采集自三线相机(TLC),可同时捕获三视图像,是对现有具有单扫描线图像的开源WorldView-3数据集的宝贵补充。实验表明,所提出的RPC畸变校正模块和SatMVS框架相比针孔拟合方法和传统MVS方法能取得更优的重建精度。代码和数据见https://github.com/WHU-GPCV/SatMVS。

关键词

引用

@article{arxiv.2109.11121,
  title  = {Rational Polynomial Camera Model Warping for Deep Learning Based Satellite Multi-View Stereo Matching},
  author = {Jian Gao and Jin Liu and Shunping Ji},
  journal= {arXiv preprint arXiv:2109.11121},
  year   = {2021}
}

备注

IEEE/CVF International Conference on Computer Vision (ICCV) 2021