MIRAGE：面向农业专家引导对话的多模态信息寻求与推理基准
机器学习
2026-01-07 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
我们提出 MIRAGE，这是一个新的基准，用于衡量专家引导对话中多模态信息寻求与推理能力。为农业领域设计，MIRAGE 通过结合自然用户查询、专家编写的响应和基于图像的上下文，捕捉专家咨询的全部复杂性，为在真实世界、知识密集型领域中对模型进行基于 grounding 的推理、澄清策略和长形式生成提供高保真基准。MIRAGE 基于超过 35,000 条真实用户-专家交互，经过精心设计的多步骤管道筛选，涵盖了多样化的作物健康、害虫诊断和作物管理场景。该基准包含超过 7,000 个独特生物实体，覆盖植物种类、害虫和病原体，成为目前面向视觉-语言模型的最具生物学多样性的基准之一，完全基于真实世界情境。与现有基准依赖明确规定的用户输入和封闭集合分类法不同，MIRAGE 具有不完整、充满上下文的场景和开放世界情境，要求模型推断潜在知识缺口、处理罕见实体，或主动引导交互或作出响应。项目页面：https://mirage-benchmark.github.io
引用
@article{arxiv.2506.20100,
title = {MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations},
author = {Vardhan Dongre and Chi Gui and Shubham Garg and Hooshang Nayyeri and Gokhan Tur and Dilek Hakkani-Tür and Vikram S. Adve},
journal= {arXiv preprint arXiv:2506.20100},
year = {2026}
}
备注
Accepted to NeurIPS 2025