HeightFormer：一种用于航空影像单目高度估计的多级交互与图像自适应分类-回归网络
计算机视觉与模式识别
2023-10-13 v1 人工智能
摘要
高度估计长期以来一直是测量与遥感学科中的关键课题，对三维城市建模、MR（混合现实）和自动驾驶等工作至关重要。传统方法利用立体匹配或多传感器融合，这两种成熟技术通常需要来自不同视角的多幅影像以及SAR等辅助传感器，导致部署成本居高不下。单幅影像高度估计已成为一种颇具吸引力的替代方案，其数据源更为多样且部署更为简便。然而，现有方法存在固定感受野、缺乏全局信息交互等局限，导致明显的实例级高度偏差。高度预测固有的复杂性，使得基于固定高度划分的主流回归方法在物体边缘深度估计上出现模糊。本文提出一种面向遥感单目高度估计的完整解决方案，称为HeightFormer，它结合了多级交互与图像自适应分类-回归。该方案包含多级交互骨干网络（MIB）与图像自适应分类-回归高度生成器（ICG）。MIB在传统骨干网络CNN的固定采样网格中补充了不同交互范围的token，并辅以像素级、块级和特征图级的分层交互机制，旨在跨尺度传递空间几何信息，引入全局感受野以提升实例级高度估计质量。ICG为每幅影像动态生成高度划分，并将传统回归任务重构为从粗到细的分类-回归细化，显著缓解了固有的病态问题并大幅提升了边缘锐度。
引用
@article{arxiv.2310.07995,
title = {HeightFormer: A Multilevel Interaction and Image-adaptive Classification-regression Network for Monocular Height Estimation with Aerial Images},
author = {Zhan Chen and Yidan Zhang and Xiyu Qi and Yongqiang Mao and Xin Zhou and Lulu Niu and Hui Wu and Lei Wang and Yunping Ge},
journal= {arXiv preprint arXiv:2310.07995},
year = {2023}
}