GPT-4 作为农艺师助手？利用大语言模型作答农业考试
人工智能
2023-10-13 v2 机器学习
摘要
大语言模型（LLMs）已在包括医疗和金融在内的多个领域的自然语言理解中展现出卓越能力。对于某些任务，LLMs 达到或优于受过训练的人类表现，因此采用人类考试（例如认证测试）来评估 LLMs 的性能是合理的。我们针对流行的 LLMs（如 Llama 2 和 GPT）作答农业相关问题的能力进行了全面评估。在我们的评估中，我们还采用了 RAG（检索增强生成）和 ER（集成精炼）技术，这些技术结合了信息检索、生成能力和提示策略以提升 LLMs 的性能。为展示 LLMs 的能力，我们选取了来自三大农业生产国——巴西、印度和美国的农业考试与基准数据集。我们的分析凸显了 GPT-4 能够在农业师认证续期考试中取得及格分数，正确作答了 93% 的题目，优于早先的通用模型（其准确率为 88%）。在其中一项实验中，与人类社会受试者相比，GPT-4 取得了最高性能。该性能表明 GPT-4 有可能通过主流研究生入学考试，甚至获得农业学证书续期学分。我们还探索了这些模型利用来自巴西农业机构（Embrapa）的稳健数据集和印度研究生项目考试来解决通用农业相关问题并为巴西和印度农民生成作物管理指南的能力。结果表明，GPT-4、ER 和 RAG 能够对农业教育、评估和作物管理实践作出有意义贡献，为农民和农业专业人员提供宝贵见解。
引用
@article{arxiv.2310.06225,
title = {GPT-4 as an Agronomist Assistant? Answering Agriculture Exams Using Large Language Models},
author = {Bruno Silva and Leonardo Nunes and Roberto Estevão and Vijay Aski and Ranveer Chandra},
journal= {arXiv preprint arXiv:2310.06225},
year = {2023}
}