TerrainMesh：基于联合二维-三维学习的航拍图像度量-语义地形重建

本文研究利用从飞行器获取的RGB图像进行室外地形建图。尽管基于特征的定位与建图技术能够实现实时载体里程计与稀疏关键点深度重建，但环境几何与语义（植被、建筑等）的稠密模型通常需离线恢复，且计算与存储开销巨大。本文提出一种联合二维-三维学习方法，在由视觉里程计算法维护的每个相机关键帧处重建局部度量-语义网格。给定估计的相机轨迹，局部网格可组装为全局环境模型，以在线捕获地形拓扑与语义。局部网格通过初始化与精化两个阶段重建：初始化阶段，我们通过求解将网格顶点重心坐标与稀疏关键点深度测量相关联的最小二乘问题来估计网格顶点高程；精化阶段，利用相机投影将二维图像与语义特征关联至三维网格顶点，并应用图卷积在联合二维与三维监督下精化网格顶点空间坐标与语义特征。基于真实航拍图像的定量与定性评估显示了本方法在环境监测与监视应用中的潜力。