通过多模态大型语言模型和卷积神经网络进行植物病害检测
计算机视觉与模式识别
2025-04-30 v1
摘要
农业自动化在解决作物监控和病害管理方面发挥着关键作用，尤其是通过早期检测系统。本研究探讨了将多模态大型语言模型（LLMs）， Specifically GPT-4o，与卷积神经网络（CNNs）结合用于植物病害分类的有效性，使用叶片图像。利用 PlantVillage 数据集，我们系统地评估了在零样例、少样例和渐进式微调情景下的模型性能。对 GPT-4o 和广泛使用的 ResNet-50 模型进行了比较分析，涉及三个分辨率（100、150 和 256 像素）和两种植物种类（苹果和玉米）。结果表明，微调后的 GPT-4o 模型在苹果叶片图像上实现了最高达 98.12% 的分类准确率，优于 ResNet-50 的 96.88%，并实现了更好的泛化和接近零的训练损失。然而，GPT-4o 的零样性能显著低于 ResNet-50，这凸显了最小化训练的必要性。此外，针对跨分辨率和跨植物泛化的额外评估揭示了模型在应用于新领域时的适应性和局限性。这些发现凸显了将多模态 LLMs 集成到自动病害检测管道中以增强精密农业系统的可扩展性和智能性方面的潜力，同时减少了对大型标记数据集和高分辨率传感器基础设施的依赖。
引用
@article{arxiv.2504.20419,
title = {Plant Disease Detection through Multimodal Large Language Models and Convolutional Neural Networks},
author = {Konstantinos I. Roumeliotis and Ranjan Sapkota and Manoj Karkee and Nikolaos D. Tselikas and Dimitrios K. Nasiopoulos},
journal= {arXiv preprint arXiv:2504.20419},
year = {2025}
}