中文

利用全球土地覆盖产品作为视觉基础模型提示的耕地制图

计算机视觉与模式识别 2023-10-17 v1 人工智能

摘要

数据驱动的深度学习方法中在耕地制图上展现出巨大潜力。然而,受耕地属性(地形、气候、作物类型)和成像条件(视角、光照、尺度)等多因素影响,不同场景下的耕地表现出巨大的域差距。这使得在特定场景训练的模型难以直接泛化到其他场景。处理该问题的常见方式是“预训练+微调”范式。遗憾的是,考虑到受多因素影响的耕地特征多样性,仅以稀疏微调样本作为通用约束,难以处理预训练数据与目标数据间复杂的域差距。此外,随着模型参数量增长,微调不再是一项轻松低成本的任务。随着基于视觉基础模型的提示学习出现,“预训练+提示”范式通过为每个样本引入个体提示重新设计了优化目标。这简化了模型推理过程中从通用到特定场景的域适应。因此,我们引入“预训练+提示”范式来解析耕地场景,并基于免费可用的全球土地覆盖产品设计自动提示(APT)方法。它能在不引入额外标注成本的情况下,实现从通用场景到专用耕地场景的细粒度适应过程。据我们所知,本工作开创了从提示学习视角探究耕地制图域适应问题的先河。我们使用来自中国南方和北方的两个亚米级耕地数据集进行的实验表明,所提基于视觉基础模型的方法在遥感领域优于传统监督学习和微调方法。

关键词

引用

@article{arxiv.2310.10219,
  title  = {Using Global Land Cover Product as Prompt for Cropland Mapping via Visual Foundation Model},
  author = {Chao Tao and Aoran Hu and Rong Xiao and Haifeng Li and Yuze Wang},
  journal= {arXiv preprint arXiv:2310.10219},
  year   = {2023}
}