利用动态相似图适配 SAM 实现少样本参数高效的小型密集目标检测：以田间条件下鹰嘴豆豆荚为例
计算机视觉与模式识别
2025-10-01 v1
摘要
由于训练数据有限和田间条件复杂，基础模型在农业计算机视觉任务中的参数高效微调（PEFT）仍然具有挑战性。本研究引入了一个基于动态相似性的图适配（DSGA）模块，以在极端数据约束下适配 Segment Anything Model（SAM），用于复杂农业环境中小型密集物体的精确前景和实例分割。通过使用可学习的多项式衰减初始化权重排序机制和自适应局部特征聚合构建动态相似图，DSGA 仅用 4.00M 可训练参数（占原始 SAM 的 4.26%）就建立了鲁棒的空间和动态相似性表示。将这种基于图的特征适配与低秩适配（LoRA）相结合，创建了一个互补的优化框架，该框架能有效捕捉图像嵌入中的局部和全局依赖关系，同时保持模型稳定性和参数效率。在具有挑战性的鹰嘴豆豆荚数据集上的实验结果表明，DSGA 与 LoRA 结合在 2、4、8 和 10 样本设置下评估的多个指标上均取得了优越性能，并且随着样本数量的增加，性能逐步提升。定量指标显示，与基线 SAM 微调相比，结构度量提升了 17.31%，自适应 F-measure 提升了 62.36%。通过 Grad-CAM 和 t-SNE 进行的全面消融研究和可视化分析验证了该框架在特征判别方面的有效性。所提出的适配方法展示了在自动化农业监测应用中的实用性，在具有挑战性的田间条件下，对于包含 10 到 120 个豆荚的图像，实现了调整 R 方为 0.8987 的精确豆荚计数。
引用
@article{arxiv.2509.25805,
title = {Adapting SAM with Dynamic Similarity Graphs for Few-Shot Parameter-Efficient Small Dense Object Detection: A Case Study of Chickpea Pods in Field Conditions},
author = {Xintong Jiang and Yixue Liu and Mohamed Debbagh and Yu Tian and Valerio Hoyos-Villegas and Viacheslav Adamchuk and Shangpeng Sun},
journal= {arXiv preprint arXiv:2509.25805},
year = {2025}
}
备注
23 pages, 11 figures, 4 tables