分割一切模型无法分割一切：评估 AI 基础模型在永久冻土制图中的泛化能力
计算机视觉与模式识别
2024-01-18 v1
摘要
本文评估了当前流行的 AI 基础模型，特别是新兴的计算机视觉基础模型及其在自然景观特征分割中的表现。虽然基础模型这一术语已迅速引起地理空间领域的兴趣，但其定义仍然模糊。因此，本文将首先介绍 AI 基础模型及其定义性特征。基于大语言模型（LLM）作为语言任务基础模型所取得的巨大成功，本文讨论了为地理空间人工智能（GeoAI）视觉任务构建基础模型所面临的挑战。为评估大型 AI 视觉模型的性能，特别是 Meta 的分割一切模型（SAM），我们实现了不同的实例分割流程，这些流程尽量减少对 SAM 的改动，以充分利用其作为基础模型的能力。我们开发了一系列提示策略，以测试 SAM 在理论预测精度上限、零样本性能以及通过微调的领域适应性方面的表现。分析使用了两个永久冻土特征数据集：冰楔多边形和后退性热融滑塌，因为（1）这些地貌特征由于其复杂的形成机制、多样的形态和模糊的边界，比人造特征更难分割；（2）它们的存在和变化是北极变暖和气候变化的重要指标。结果表明，SAM 虽然很有前景，但在支持 AI 增强的地形制图方面仍有改进空间。这一发现的空间和领域泛化能力通过使用更通用的农业田块制图数据集 EuroCrop 得到了进一步验证。最后，我们讨论了增强 SAM 在具有挑战性的地理空间领域中适用性的未来研究方向。
引用
@article{arxiv.2401.08787,
title = {Segment Anything Model Can Not Segment Anything: Assessing AI Foundation Model's Generalizability in Permafrost Mapping},
author = {Wenwen Li and Chia-Yu Hsu and Sizhe Wang and Yezhou Yang and Hyunho Lee and Anna Liljedahl and Chandi Witharana and Yili Yang and Brendan M. Rogers and Samantha T. Arundel and Matthew B. Jones and Kenton McHenry and Patricia Solis},
journal= {arXiv preprint arXiv:2401.08787},
year = {2024}
}