MM-DeepResearch：一个简单有效的多模态智能体搜索基线
计算机视觉与模式识别
2026-03-03 v1 人工智能
摘要
我们致力于开发一种具备显式推理和规划、多工具调用以及跨模态信息综合能力的多模态研究智能体，以实现深层次研究任务。然而，我们观察到开发此类智能体存在三个主要挑战：(1) 稀缺的搜索密集型多模态 QA 数据，(2) 缺乏有效的搜索轨迹，(3) 使用在线搜索 API 进行训练的高昂成本。为此，我们首先提出了 Hyper-Search，这是一种基于超图的 QA 生成方法，模型化并连接视觉和文本节点于不同模态内部和跨模态之间，生成需要调用各种搜索工具才能解决的搜索密集型多模态 QA 对。其次，我们引入 DR-TTS，首先根据搜索工具类型将涉及搜索的任务分解为多个类别，分别为每种工具优化专门的搜索工具专家。然后，它通过树形搜索重组工具专家，以探索成功解决复杂任务的搜索轨迹。最后，我们构建一个支持多种搜索工具的离线搜索引擎，使智能体强化学习无需使用高成本的在线搜索 API。通过这三项设计，我们开发了 MM-DeepResearch，这是一个强大的多模态深度研究智能体，广泛的结果显示其在基准测试中的优势。代码已公开 https://github.com/HJYao00/MM-DeepResearch
引用
@article{arxiv.2603.01050,
title = {MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline},
author = {Huanjin Yao and Qixiang Yin and Min Yang and Ziwang Zhao and Yibo Wang and Haotian Luo and Jingyi Zhang and Jiaxing Huang},
journal= {arXiv preprint arXiv:2603.01050},
year = {2026}
}
备注
Technical report