大模型-小模型协作的农业语义变化检测
计算机视觉与模式识别
2026-05-13 v1
摘要
农业语义变化检测（SCD）是耕地保护的关键任务，但现有基准和模型对细粒度农业转换监控不足。当前数据集常缺乏专门的"从-到"标注，而视觉变化检测模型容易受到作物轮作、季节性变化和照明差异导致的伪变化的干扰。为此，我们构建了HZNU-FCD，一个大规模细粒度农业SCD基准，包含统一的五类农地向非农地转换标注协议。数据集包含4588对双时相图像，像素级标签适用于实际农地保护。基于该基准，我们提出了大模型-小模型协作SCD框架，集成任务驱动的小视觉模型与冻结的大型视觉语言模型。小模型采用细粒度差异感知Mamba（FD-Mamba），学习密集变化表示以实现边界保留和小区域定位；大模型路径引入基于CLIP的文本先验，通过提示引导语义仲裁和伪变化抑制。为实现有效协作，我们设计了硬区域联合训练策略，仅在低置信度像素上监督CMLA语义得分图。实验表明，在HZNU-FCD上，本方法实现了97.63%的F1分数、96.32%的IoU和96.35%的SCD_IoU_mean，仅使用6.65M可训练参数。与利用视觉语言信息进行变化检测的多模态ChangeCLIP-ViT相比，本方法在HZNU-FCD上F1提升了10.19个百分点。本方法在LEVIR-CD上达到91.43%的F1和84.21%的IoU，在WHU-CD上达到93.85%的F1和88.41%的IoU，显示出强大的鲁棒性和泛化能力。代码已公开：https://github.com/Lovelymili/FD-Mamba
引用
@article{arxiv.2605.12282,
title = {Large-Small Model Collaboration for Farmland Semantic Change Detection},
author = {Xinjia Li and Rui Wang and Qiurong Peng and Lingfei Ye and Dengrong Zhang and Haoyu Zhang},
journal= {arXiv preprint arXiv:2605.12282},
year = {2026}
}