ResDepth：一种用于高分辨率卫星图像三维重建的深度残差先验
图像与视频处理
2021-12-21 v2 计算机视觉与模式识别
摘要
现代光学卫星传感器使得从太空进行高分辨率立体重建成为可能。但从太空观测地球时具有挑战性的成像条件将立体匹配推向了极限。在实践中，所得的数字表面模型（DSMs）相当嘈杂，且往往达不到三维城市建模等高分辨率应用所需的精度。可以说，基于低级图像相似度的立体对应是不够的，应当辅以关于期望表面几何形状（超出基本局部平滑性）的先验知识。为此，我们引入了 ResDepth，一种从样本数据中学习此类具表达力的几何先验的卷积神经网络。ResDepth 在将初始的原始立体 DSM 进行细化时以图像为条件。即，它充当一种智能的、学习到的后处理滤波器，并可无缝补充任意立体匹配流水线。在一系列实验中，我们发现所提方法在定量和定性上均能一致地改善立体 DSM。我们表明，网络权重中编码的先验捕捉到了城市设计中有意义的几何特征，这些特征也能泛化到不同区域甚至不同城市之间。此外，我们证明，通过在多种立体对上训练，ResDepth 可以获得对成像条件和获取几何变化足够的不变性。
引用
@article{arxiv.2106.08107,
title = {ResDepth: A Deep Residual Prior For 3D Reconstruction From High-resolution Satellite Images},
author = {Corinne Stucker and Konrad Schindler},
journal= {arXiv preprint arXiv:2106.08107},
year = {2021}
}
备注
Accepted for publication in the ISPRS Journal of Photogrammetry and Remote Sensing