ZoRI：迈向判别式零样本遥感实例分割

遥感中的实例分割算法通常基于传统方法，限制了其在已见场景和闭集预测中的应用。在本工作中，我们提出了一项名为零样本遥感实例分割的新任务，旨在识别训练数据中未出现的航空目标。在分类具有高类间相似性和类内方差的航空类别时出现了挑战。此外，视觉语言模型的预训练数据集与遥感数据集之间的领域差距，阻碍了预训练模型在直接应用于遥感图像时的零样本能力。为了应对这些挑战，我们提出了一个零样本遥感实例分割框架，称为 ZoRI。我们的方法具有一个判别增强分类器，该分类器使用精炼的文本嵌入来增加对类别差异的感知。我们提出了一种知识保持适应策略，而非直接微调，该策略解耦语义相关信息以保持预训练的视觉语言对齐，同时调整特征以捕获遥感领域特定的视觉线索。此外，我们引入了带有航空视觉原型缓存库的先验注入预测，以补充文本嵌入的语义丰富度并无缝集成航空表示，从而适应遥感领域。我们建立了新的实验协议和基准，大量实验令人信服地证明，ZoRI 在零样本遥感实例分割任务上实现了 SOTA 性能。我们的代码可在 https://github.com/HuangShiqi128/ZoRI 获取。