SAM能识别农作物吗？基于语义分割基础模型利用卫星影像生成作物类型图以服务精准农业的零样本性能量化
计算机视觉与模式识别
2023-12-06 v2
摘要
气候变化正日益扰乱全球农业，使全球粮食生产的可靠性下降。为应对养活地球日益增长的挑战，精准农业等前沿管理策略为农民和决策者提供了丰富且可操作的信息，以提高其农业实践的效率和可持续性。作物类型图是决策支持工具的关键信息，但生成起来具有挑战性且成本高昂。我们研究了Meta AI的Segment Anything Model（SAM）在作物图预测任务中的能力，考虑到其在零样本图像分割中近期的成功。然而，SAM仅限于最多3通道输入，且其零样本使用本质上与类别无关，这给直接将其用于作物类型制图带来了独特挑战。我们提出使用聚类一致性度量来评估SAM在分割卫星影像和生成作物类型图中的零样本性能。尽管在零样本设置下使用SAM直接进行作物类型制图具有挑战性，实验揭示了SAM在卫星图像中快速且准确地勾画田块的潜力，可作为后续作物分类的基础。本文试图凸显SAM等最先进图像分割模型在作物类型制图及农业行业相关特定需求中的用例，为精准农业实践提供自动、高效且具成本效益的数据产品之潜在途径。
引用
@article{arxiv.2311.15138,
title = {Can SAM recognize crops? Quantifying the zero-shot performance of a semantic segmentation foundation model on generating crop-type maps using satellite imagery for precision agriculture},
author = {Rutuja Gurav and Het Patel and Zhuocheng Shang and Ahmed Eldawy and Jia Chen and Elia Scudiero and Evangelos Papalexakis},
journal= {arXiv preprint arXiv:2311.15138},
year = {2023}
}
备注
Accepted at NeurIPS 2023 AI for Science Workshop