利用基于 RGB 的 CLIP 视觉-语言模型检测卫星图像中的云存在
计算机视觉与模式识别
2023-12-14 v1
摘要
本工作探索预训练 CLIP 视觉-语言模型识别受云影响卫星图像的能力。提出并评估了若干使用该模型执行云存在检测的方法，包括使用文本提示的纯零样本操作以及若干微调方法。此外，测试了这些方法在不同数据集与传感器类型（Sentinel-2 和 Landsat-8）间的可迁移性。结果表明，CLIP 能在云存在检测任务上取得非平凡性能，且明显具备跨传感模态与传感波段泛化的能力。还发现低成本的微调阶段可大幅提升真负率。结果证明，CLIP 模型学到的表示对涉及云的卫星图像处理任务是有用的。
引用
@article{arxiv.2308.00541,
title = {Detecting Cloud Presence in Satellite Images Using the RGB-based CLIP Vision-Language Model},
author = {Mikolaj Czerkawski and Robert Atkinson and Christos Tachtatzis},
journal= {arXiv preprint arXiv:2308.00541},
year = {2023}
}