面向遥感图像实例分割的多尺度上下文聚合学习方法
计算机视觉与模式识别
2024-01-26 v4
摘要
遥感图像中的实例分割任务旨在对物体进行实例级的逐像素标注，对各类民用应用具有重要意义。尽管已有前人成果，但大多数针对自然图像设计的现有实例分割方法在直接应用于俯视遥感图像时性能急剧下降。通过细致分析，我们观察到这些挑战主要源于严重的尺度变化、低对比度以及聚集分布所导致的判别性物体特征缺失。为解决这些问题，本文提出一种新颖的上下文聚合网络（CATNet）以改进特征提取过程。所提模型利用三个轻量级即插即用模块，即密集特征金字塔网络（DenseFPN）、空间上下文金字塔（SCP）和分层感兴趣区域提取器（HRoIE），分别在特征域、空间域和实例域聚合全局视觉上下文。DenseFPN是一种多尺度特征传播模块，通过采用层间残差连接、跨层密集连接和特征重加权策略建立更灵活的信息流。借助注意力机制，SCP通过将全局空间上下文聚合到局部区域进一步增强特征。对于每个实例，HRoIE自适应地为不同下游任务生成RoI特征。在iSAID、DIOR、NWPU VHR-10和HRSID数据集上的大量评估表明，所提方法在相似计算成本下优于当前最优（SOTA）方法。源代码与预训练模型可在 https://github.com/yeliudev/CATNet 获取。
引用
@article{arxiv.2111.11057,
title = {Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images},
author = {Ye Liu and Huifang Li and Chao Hu and Shuang Luo and Yan Luo and Chang Wen Chen},
journal= {arXiv preprint arXiv:2111.11057},
year = {2024}
}
备注
Accepted to IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 2023