基于轻量微调的文本提示在SAM3遥感分割中的有效性
计算机视觉与模式识别
2026-04-14 v2
摘要
遥感图像分割受限于标注数据的稀缺以及基础模型所使用的天空图像与自然图像之间的差距。这促使需要在有限监督条件下进行有效适应。SAM3概念驱动框架可据文本提示生成掩码，无需特定任务修改，从而可能实现此适应。我们在四种目标类型上评估SAM3用于遥感图像，比较了文本提示、几何提示和混合提示策略，在轻量微调规模随监督程度增加的同时，同时进行零样本推断。结果表明，结合语义线索和几何线索可在各目标类型和指标上获得最佳性能。文本唯一提示表现最差，对于不规则形状的目标得分差距明显，这反映了SAM3文本表示与其天空外观之间的语义对齐有限。尽管如此，文本提示配合轻量微调在几何规则且视觉突出的目标上提供了实用的性能-努力权衡。在各目标类型上，性能随着从零样本推断到微调的提升，随后随着监督规模增加而出现报酬递减。也就是说，适度的几何标注 effort 即可实现有效适应。Precision 与 IoU 之间的持续差距进一步表明，在遥感任务中，特别是针对不规则和较少见的目标，分割过度和边界不准仍是普遍的错误模式。
引用
@article{arxiv.2512.15564,
title = {On the Effectiveness of Textual Prompting with Lightweight Fine-Tuning for SAM3 Remote Sensing Segmentation},
author = {Roni Blushtein-Livnon and Osher Rafaeli and David Ioffe and Amir Boger and Karen Sandberg Esquenazi and Tal Svoray},
journal= {arXiv preprint arXiv:2512.15564},
year = {2026}
}