AeroReformer：基于无人机的空中指代变换器
计算机视觉与模式识别
2025-09-03 v2
摘要
指代分割是将计算机视觉与自然语言处理结合，以文本描述为依据对目标进行定位和分割的新型且具有挑战性的任务。虽然指代图像分割（RIS）在自然图像中已得到广泛研究，但针对航空航天图像，尤其是来自无人机（UAV）的航空图像，相关研究鲜有涉及。UAV 图像具有复杂的空间尺度、遮挡以及多变的目标姿态，这导致现有的 RIS 方法无法有效工作。一个关键限制因素是缺乏针对 UAV 的数据集，因为人工标注像素级掩码和生成文本描述工作量大且耗时。为此，我们设计了一种自动标注流程，利用现有的 UAV 分割数据集和多模态大语言模型（MLLM）生成文本描述。此外，我们提出了空中指代变换器（AeroReformer），一种新的无人机指代图像分割（UAV-RIS）框架，包含视觉-语言交叉注意力模块（VLCAM）用于有效的跨模态理解，以及旋转感知多尺度融合（RAMSF）解码器以提高航空场景下的分割精度。在两个新开发的数据集上进行的广泛实验表明，AeroReformer 在现有方法上具有优势，为 UAV-RIS 树立了新的基准。该数据集和代码将在 https://github.com/lironui/AeroReformer 上公开。
引用
@article{arxiv.2502.16680,
title = {AeroReformer: Aerial Referring Transformer for UAV-based Referring Image Segmentation},
author = {Rui Li and Xiaowei Zhao},
journal= {arXiv preprint arXiv:2502.16680},
year = {2025}
}