低数据监督适应在域迁移下的云分段任务中优于提示技术
计算机视觉与模式识别
2026-04-13 v1 机器学习
摘要
将视觉语言模型适用于遥感图像提出了一个根本性挑战：卫星数据在视觉和语言分布上都远离自然图像预训练语料。尽管如此，提示技术仍是主导的部署范式，这是基于“特定领域语言可引导冻结模型表示转向专业任务”的假设。我们直接测试了这一假设在一个域差异突出的场景：卫星图像云分段。使用 CLIPSeg 在 CloudSEN12+ 云分段基准上，我们评估了60种提示变体，涵盖简单标签、领域术语、外观描述和情境线索，发现所有变体都低于零样本基线 (0.255 mIoU)，其中一些工程化提示得分最低至0.07 mIoU。无论语言精雕细琢如何，都无法弥合 CLIP 自然图像表征与卫星光谱图像之间的鸿沟。相比之下，使用仅0.1%标记数据（约8张图像）进行监督微调即可超越零样本表现，5-10%数据可恢复约85%的最高可达 mIoU。完全微调始终优于低秩适应0.03-0.09 mIoU，尤其在光谱歧义类别中差距最大；在0.5%-1%标记数据时，微调会暂时降低这些类别的表现后再恢复，这种监督降斜现象可能被整体 mIoU 掩盖。对于面向专业图像适配的从业者而言，本研究给出明确结论：标记数据并非提示的低成本替代品；它是值得投资的路径。
引用
@article{arxiv.2604.08956,
title = {Low-Data Supervised Adaptation Outperforms Prompting for Cloud Segmentation Under Domain Shift},
author = {Harshith Kethavath and Weiming Hu},
journal= {arXiv preprint arXiv:2604.08956},
year = {2026}
}
备注
10 pages, 6 figures, to be published in EarthVision @ CVPR 2026