M$^3$Searcher:面向检索推理的模块化多模态信息搜寻智能体
人工智能
2026-01-15 v1
摘要
近期 DeepResearch 风格智能体在自主信息获取与真实网络环境综合方面展现出了强大的能力。然而,现有方法从根本上仍局限于文本模态。将自主信息搜寻智能体扩展至多模态场景引入了关键挑战:在大规模训练多模态工具使用模型时出现的特化-泛化权衡,以及捕捉复杂、多步多模态搜索轨迹的训练数据的严重匮乏。为应对这些挑战,我们提出了 MSearcher,一种模块化的多模态信息搜寻智能体,其将信息获取与答案推导显式解耦。MSearcher 采用面向检索的多目标奖励进行优化,该奖励联合鼓励事实准确性、推理合理性与检索保真度。此外,我们开发了 MMSearchVQA,一个多模态多跳数据集,以支持以检索为中心的强化学习训练。实验结果表明,MSearcher 优于现有方法,在复杂多模态任务中展现出强大的迁移适应能力与有效的推理能力。
引用
@article{arxiv.2601.09278,
title = {M$^3$Searcher: Modular Multimodal Information Seeking Agency with Retrieval-Oriented Reasoning},
author = {Xiaohan Yu and Chao Feng and Lang Mei and Chong Chen},
journal= {arXiv preprint arXiv:2601.09278},
year = {2026}
}