基于卫星引导的 BEV 混合用于跨视图语义分割
计算机视觉与模式识别
2024-04-04 v1
摘要
本文旨在实现跨视图场景（即使用卫星图像和街景图像对）中细粒度建筑属性语义分割。主要挑战在于克服街景视图与卫星视图之间的显著视角差异。本文引入了 SG-BEV（Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation），一种新的卫星引导的 BEV 混合方法，用于跨视图语义分割。为克服现有跨视图投影方法在捕捉完整建筑立面特征方面的局限性，我们创新性地引入了鸟瞰视角（BEV）方法，以建立街景特征的空间显式映射。此外，我们通过引入一种新颖的卫星引导重投影模块，充分利用多视角的优势，优化传统 BEV 方法中特征分布不均的问题。本方法在来自多个城市（包括纽约、旧金山和波士顿）收集的四个跨视图数据集上显示出显著的改进。在这些数据集上，本方法相对于最先进的卫星基方法和跨视图方法，平均 mIOU 分别提高了 10.13%和 5.21%。本工作的代码和数据集将发布于 https://github.com/yejy53/SG-BEV。
引用
@article{arxiv.2404.02638,
title = {SG-BEV: Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation},
author = {Junyan Ye and Qiyan Luo and Jinhua Yu and Huaping Zhong and Zhimeng Zheng and Conghui He and Weijia Li},
journal= {arXiv preprint arXiv:2404.02638},
year = {2024}
}
备注
accepted by CVPR 2024