基于视觉语言模型的弱监督遥感图像中短暂沟壑检测
计算机视觉与模式识别
2025-12-24 v2
摘要
在土壤侵蚀问题中，短暂沟壑是农业田地中最值得关注的现象之一。其短暂的时序周期增加了使用经典计算机视觉方法和遥感图像进行自动检测的难度。此外，由于标注数据的稀缺性和获取准确标签的困难，基于机器学习的短暂沟壑自动检测仅限于零样本方法，这类方法难以实现。为克服这些挑战，我们提出了首个用于检测短暂沟壑的弱监督管道。该方法依赖遥感图像，利用视觉语言模型（Vision Language Models, VLM）大幅减少人工标注的工作量。为实现这一目标，方法采用了：1）来自 VLM 预训练知识嵌入；2）教师-学生模型，其中教师从 VLM 生成的噪声标签中学习，学生则通过弱监督学习教师生成的标签并采用噪声感知损失函数进行学习。我们还提供了首个用于从遥感图像中进行半监督短暂沟壑检测的数据集。该数据集包含多个由土壤和植物科学家标注的地点，以及大量未标注的地点。该数据集代表了超过一万八千个高分辨率遥感图像，跨越13年时间。我们的实验结果表明，通过弱监督训练学生模型，我们的方法在性能上优于 VLM 及标签模型本身。本工作的代码和数据集已公开 disponible。
引用
@article{arxiv.2511.13891,
title = {Weakly Supervised Ephemeral Gully Detection In Remote Sensing Images Using Vision Language Models},
author = {Seyed Mohamad Ali Tousi and Ramy Farag and John A. Lory and G. N. DeSouza},
journal= {arXiv preprint arXiv:2511.13891},
year = {2025}
}