用于指代遥感图像分割的旋转多尺度交互网络

指代遥感图像分割（RRSIS）是一项结合了计算机视觉和自然语言处理的新挑战，旨在根据文本查询描绘航空图像中的特定区域。传统的指代图像分割（RIS）方法受到航空图像中复杂空间尺度和方向的阻碍，导致分割结果次优。为了应对这些挑战，我们引入了旋转多尺度交互网络（RMSIN），这是一种专为 RRSIS 的独特需求而设计的创新方法。RMSIN 包含一个尺度内交互模块（IIM），以有效处理多个尺度所需的细粒度细节，以及一个跨尺度交互模块（CIM），用于在整个网络中连贯地整合这些细节。此外，RMSIN 采用自适应旋转卷积（ARC）来考虑物体的不同方向，这一新颖的贡献显著提高了分割精度。为了评估 RMSIN 的有效性，我们整理了一个包含 17,402 个图像-标题-掩码三元组的大型数据集，其规模和多样性是无与伦比的。该数据集不仅向模型展示了广泛的空间和旋转场景，而且为 RRSIS 任务建立了一个严格的基准，确保对性能进行严苛的评估。我们的实验评估证明了 RMSIN 的卓越性能，以显著的幅度超越了现有的最先进模型。所有数据集和代码均可在 https://github.com/Lsan2401/RMSIN 获取。