一种用于叶片病病害识别的视觉-语言基础模型
计算机视觉与模式识别
2025-10-28 v1
摘要
叶片病病害识别在智能农业中占据重要位置。然而，许多现有研究仍难以集成图像和文本模态以互补各自的局限。此外，这些方法大多依赖受限数据集（如 ImageNet）进行预训练，这些数据集缺乏特定领域的信息。我们提出了 SCOLD（Soft-target COntrastive learning for Leaf Disease identification），一种为农业任务构建的上下文感知视觉-语言基础模型。 SCOLD 由包括 186,000 多张植物叶片图像及其对应症状描述的多样化语料构建，涵盖 97 个独特概念。通过任务无关的预训练，SCOLD 利用上下文软目标来通过平滑标签缓解对比学习中的过度自信，从而提高模型在细粒度分类任务上的泛化能力和鲁棒性。实验结果表明，SCOLD 在多个基准测试中（包括零样态和少样态分类、图像-文本检索和图像分类）均优于 OpenAI-CLIP-L、BioCLIP 和 SigLIP2 等现有视觉-语言模型，同时保持竞争的参数规模。消融研究进一步突出了 SCOLD 相对于其它模型的有效性。该方法显著推进了农业视觉-语言基础模型的发展，实现了在最小或无需监督微调的情况下出色的性能。这一工作为未来在长文本和简化语境训练的模型、涉及类别模糊性的任务以及智能植物病害诊断的多模态系统的研究奠定了坚实基础。该研究的代码已在 https://huggingface.co/enalis/scold 提供。
引用
@article{arxiv.2505.07019,
title = {A Vision-Language Foundation Model for Leaf Disease Identification},
author = {Khang Nguyen Quoc and Lan Le Thi Thu and Luyl-Da Quach},
journal= {arXiv preprint arXiv:2505.07019},
year = {2025}
}