视觉与语言结合：用于咖啡病害诊断与农户辅助的RAG增强YOLOv8框架

作为社会存在，我们与环境有着密不可分的联系。人类生活中的诸多事物，如生活方式、健康和食物，都依赖于环境和农业。支持环境和农业是我们责无旁贷的义务。然而，传统的农业实践往往导致资源利用效率低下和环境挑战。为了解决这些问题，精准农业作为一种有前景的方法应运而生，它利用先进技术来优化农业过程。在这项工作中，提出了一种混合方法，将模型AI的三个不同潜在领域结合起来：目标检测、大型语言模型（LLM）和检索增强生成（RAG）。在这个新颖的框架中，我们尝试将视觉和语言模型结合在一起协同工作，以识别树叶上的潜在病害。本研究引入了一种基于AI的新型精准农业系统，该系统使用检索增强生成（RAG）提供上下文感知诊断，并使用自然语言处理（NLP）和YOLOv8进行作物病害检测。该系统旨在解决大型语言模型（LLM）的主要问题，特别是幻觉，并允许进行适应性治疗方案规划和实时病害检测。该系统为农户提供了易于使用的界面，他们只需提交受感染叶片的图像即可检测与咖啡叶片相关的不同病害，模型将检测病害并建议潜在的补救方法，旨在降低农药使用、保护生计并鼓励环保方法。该项目注重可扩展性、可靠性和用户友好性，旨在未来改进用于更广泛农业应用的RAG集成目标检测系统。