HTC-DC Net:基于单张遥感图像的单体高度估计
计算机视觉与模式识别
2023-09-29 v1
摘要
3D 地理信息对于理解生活环境具有重要意义;然而,基于遥感数据尤其是大尺度的 3D 感知受到限制。为解决该问题,我们提出一种从光学影像进行单体高度估计的方法,光学影像目前是遥感数据中最丰富的来源之一。作为一个病态问题,单体高度估计需要精心设计的网络以增强表示来提升性能。此外,高度值的分布呈长尾状,以低高度像素(如背景)为头部,因此训练出的网络通常有偏且倾向于低估建筑高度。为解决这些问题,我们未将问题形式化为回归任务,而是提出遵循分类-回归范式的 HTC-DC Net,以头尾切割(head-tail cut, HTC)和基于分布的约束(distribution-based constraints, DCs)为主要贡献。HTC-DC Net 由作为特征提取器的骨干网络、HTC-AdaBins 模块和混合回归过程组成。HTC-AdaBins 模块作为分类阶段,确定适应每张输入图像的 bins。它配备视觉 transformer 编码器以将局部上下文与整体信息结合,并引入 HTC 以解决单体高度估计中的长尾问题,平衡前景与背景像素的性能。混合回归过程通过对分类阶段 bins 的平滑化进行回归,并通过 DCs 训练。所提网络在三个不同分辨率的数据集上测试,即 ISPRS Vaihingen (0.09 m)、DFC19 (1.3 m) 和 GBH (3 m)。实验结果表明所提网络大幅优于现有方法。大量消融研究证明了各设计组件的有效性。
引用
@article{arxiv.2309.16486,
title = {HTC-DC Net: Monocular Height Estimation from Single Remote Sensing Images},
author = {Sining Chen and Yilei Shi and Zhitong Xiong and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2309.16486},
year = {2023}
}
备注
18 pages, 10 figures, submitted to IEEE Transactions on Geoscience and Remote Sensing