遥感领域少样本语义分割的可学习提示

少样本分割是一项任务，即在仅给出少量标注示例的情况下，对图像中新颖类别的对象或区域进行分割。在广义设置中，任务扩展到同时分割基类和新颖类。主要挑战是如何训练模型，使得添加新颖类不会损害基类性能，这也称为灾难性遗忘。为了缓解这个问题，我们使用SegGPT作为基础模型，并在基类上训练它。然后，我们使用单独的可学习提示来处理每个新颖类的预测。为了处理遥感领域中常见的各种物体尺寸，我们执行基于块的预测。为了解决块边界的不连续性，我们提出了一种补丁拼接技术，将问题重新定义为图像修复任务。在推理过程中，我们还利用图像嵌入上的图像相似性搜索进行提示选择和新颖类过滤，以减少假阳性预测。基于我们的实验，我们提出的方法将简单微调的SegGPT在挑战赛提供的少样本OpenEarthMap数据集验证集上的加权mIoU从15.96提升到35.08。