AgroTools：用于农业中工具增强型多模态智能体的基准测试集
计算机视觉与模式识别
2026-05-22 v1
摘要
农业决策越来越需要能够将视觉观察转化为可靠可执行动作的多模态系统。然而，现有的农业多模态基准测试主要评估最终答案的正确性，仅能有限地支持评估模型是否能够使用外部工具来完成精确敏感的工作流程。本文引入 AgroTools，作为评估农业中工具增强型多模态智能体的基准测试。AgroTools 包含 539 组问答实例，配有 1,097 张异构农业图像，覆盖五个任务家族和 14 个可执行农业工具。每个查询都标注了结构化的工具使用轨迹，使我们能够对过程级执行质量和结果级任务成功进行双视图评估。我们在 AgroTools 上对 9 个开源和 4 个封闭源多模态大语言模型进行基准测试。结果表明，当前模型在农业工具使用场景中仍远不够可靠，工具规划、参数生成、执行恢复和最终答案综合等方面存在明显瓶颈。我们希望 AgroTools 将支持面向高精度农业应用的多模态智能体的未来研究。该基准测试和评估已在 https://huggingface.co/datasets/AgroTools/AgroTools 提供。
引用
@article{arxiv.2605.22366,
title = {AgroTools: A Benchmark for Tool-Augmented Multimodal Agents in Agriculture},
author = {Zi Ye and Yibin Wen and Xiaoya Fan and Xinyu Zhang and Jing Wu and Kun Zeng and Zurong Mai and Jiarui Zhang and Bohan Shi and Juepeng Zheng and Jianxi Huang and Yutong Lu and Haohuan Fu},
journal= {arXiv preprint arXiv:2605.22366},
year = {2026}
}