增强 DeepLabV3+ 以融合航空和卫星图像进行语义分割
计算机视觉与模式识别
2025-04-01 v1 人工智能
摘要
航空图像和卫星图像在本质上是互补的遥感源，前者提供高分辨率细节，后者覆盖广阔空间范围。然而，这些来源用于土地覆盖分割带来了若干挑战，促使发展出各种分割方法。在这些方法中，DeepLabV3+ 架构被视为单源图像分割的有前景的方案。然而，尽管其分割结果可靠，仍需提高其鲁棒性和性能。这在多模态图像分割中尤为关键，信息融合至关重要。有趣的做法是通过集成新型组件并修改某些内部过程来增强该架构框架。本文通过引入新的转置常规层模块，用于上采样第二个输入并与高层特征融合，来增强 DeepLabV3+ 架构。该模块旨在放大和集成来自卫星图像的信息，从而通过与航空图像的融合丰富分割过程。实验方面，我们使用来自 LandCover.ai（来自航空图像的土地覆盖）数据集进行航空图像实验，同时使用来自 Sentinel 2 数据的相应数据集。通过两者的融合，在未使用数据增强情况下实现了总体 mIoU 为 84.91%。
引用
@article{arxiv.2503.22909,
title = {Enhancing DeepLabV3+ to Fuse Aerial and Satellite Images for Semantic Segmentation},
author = {Anas Berka and Mohamed El Hajji and Raphael Canals and Youssef Es-saady and Adel Hafiane},
journal= {arXiv preprint arXiv:2503.22909},
year = {2025}
}