Agri-LLaVA：基于植物意图构建的农业害虫与病虫知识驱动大多模态助手
计算机视觉与模式识别
2024-12-05 v2
摘要
在通用领域，大型多模态模型（LMM）已取得显著进展，但在特定领域应用仍面临挑战，尤其是农业领域。作为全球经济的支柱，农业正面临诸多挑战，其中害虫和病虫因其复杂性、变异性、快速蔓延和高抗性而尤为棘手。本文特别针对这些问题展开研究。我们构建了第一个覆盖超过221种害虫和病虫的多模态指令跟随数据集，包含约40万条数据条目。该数据集旨在探索和解决害虫和病虫防控的独特挑战。基于该数据集，我们提出一种知识驱动训练方法，以开发Agri-LLaVA——一个农业领域的多模态对话系统。为加速该领域的进展并激励更多研究者参与，我们设计了一个多样且具挑战性的农业害虫和病虫评估基准。实验结果表明，Agri-LLaVA在农业多模态对话和视觉理解方面表现出色，为解决农业害虫和病虫问题提供了新的思路和方法。通过开源我们的数据集和模型，我们旨在推动LMM在农业领域的研究与发展，并为解决农业害虫和病虫的挑战做出重要贡献。所有资源均可在 https://github.com/Kki2Eve/Agri-LLaVA 查阅。
引用
@article{arxiv.2412.02158,
title = {Agri-LLaVA: Knowledge-Infused Large Multimodal Assistant on Agricultural Pests and Diseases},
author = {Liqiong Wang and Teng Jin and Jinyu Yang and Ales Leonardis and Fangyi Wang and Feng Zheng},
journal= {arXiv preprint arXiv:2412.02158},
year = {2024}
}