面向作物病害诊断的多模态基准数据集与模型

尽管对话式生成式AI在增强农业专业人员的决策能力方面展现出巨大潜力，但其探索主要仍局限于基于文本的交互。利用来自不同来源的海量图文数据的多模态对话式AI的演进，标志着向前迈出的重要一步。然而，此类先进的视觉语言模型在农业领域的应用，尤其是用于作物病害诊断，仍有待深入探索。在本工作中，我们提出了作物病害领域多模态(CDDM)数据集，这是一项开创性资源，旨在通过应用多模态学习技术来推动农业研究领域的发展。该数据集包含137,000张各类作物病害的图像，并附有100万个问答对，涵盖了从病害识别到管理实践的广泛农业知识。通过整合视觉和文本数据，CDDM促进了复杂问答系统的开发，能够为农民和农业专业人员提供精确、实用的建议。我们通过微调最先进的多模态模型展示了该数据集的实用性，展现了作物病害诊断的显著改进。具体而言，我们采用了一种新颖的微调策略，利用低秩适应同时微调视觉编码器、适配器和语言模型。我们的贡献不仅包括数据集，还包括微调策略和基准，以激发农业技术的进一步研究，旨在弥合先进AI技术与实际农业应用之间的差距。该数据集可在 https://github.com/UnicomAI/UnicomBenchmark/tree/main/CDDMBench 获取。