InstructSAM：面向指令导向遥感目标识别的训练-free框架

语言引导的遥感图像目标识别对于大规模制图和自动化数据标注至关重要。然而，现有的开放词汇和视觉定位方法依赖显式类别线索，限制了其处理复杂或隐式查询的能力，这类查询需要更高级的推理。为此，我们引入了一套新任务，包括指令导向目标计数、检测和分割（InstructCDS），涵盖开放词汇、开放命题和开放子类场景。我们进一步提出了EarthInstruct，首个面向地球观察的InstructCDS基准测试。其由来自两种异构遥感数据集构成，数据集具有不同的空间分辨率和标注规则，覆盖20个类别， necessitating models to interpret dataset-specific instructions。鉴于遥感领域缺乏语义丰富的标注数据，我们提出InstructSAM，一个用于指令驱动目标识别的训练-free框架。InstructSAM利用大型视觉语言模型解释用户指令并估计目标数量，采用SAM2生成掩码提案，将掩码-标签分配问题形式化为二进制整数规划问题。通过整合语义相似性与计数约束，InstructSAM能够在不依赖置信阈值的前提下高效地将类别分配给预测掩码。实验表明，InstructSAM在多个任务上与或超过 specialized baselines，同时保持近乎恒定的推理时间（无论目标数量如何），相较于直接生成方法，输出标记数降低89%，总体运行时间缩短超过32%。我们认为该提出的任务、基准测试以及有效方法的贡献将推动未来开发多功能目标识别系统的研究。