SegEarth-OV：面向遥感图像无需训练的开放词汇分割
计算机视觉与模式识别
2024-11-05 v2
摘要
遥感图像在农业、水资源、军事和灾害救援等领域发挥着不可替代的作用。像级解释是遥感图像应用的关键方面；然而，一个普遍的局限性仍然是需要大量的手动标注。为此，我们尝试将开放词汇语义分割（OVSS）引入遥感背景。然而，由于遥感图像对低分辨率特征敏感，预测掩码中显示出特征丢失、目标形状畸变和边界不匹配的问题。为解决此问题，我们提出了一种简单通用的升采样器 SimFeatUp，以无训练方式恢复深层特征中丢失的空间信息。进一步基于对 CLIP 中局部 patch token 对 [CLS] token 的异常响应观察，我们提出执行一种简单的减法运算来缓解 patch token 中的全局偏差。我们在17个遥感数据集上进行了大量实验，涵盖语义分割、建筑提取、道路检测和洪水检测等任务。在4个任务上，我们的方法相较于最先进的方法平均提高了5.8%、8.2%、4.0%和15.3%。所有代码已公开 release。\url{https://earth-insights.github.io/SegEarth-OV}
引用
@article{arxiv.2410.01768,
title = {SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images},
author = {Kaiyu Li and Ruixun Liu and Xiangyong Cao and Xueru Bai and Feng Zhou and Deyu Meng and Zhi Wang},
journal= {arXiv preprint arXiv:2410.01768},
year = {2024}
}