CogPlanner：揭示基于计划的代理式多模态检索增强生成潜能
信息检索
2025-11-03 v2 多智能体系统
摘要
多模态检索增强生成(MRAG)系统在增强多模态大语言模型(MLLM)的生成能力方面显示出前景。然而，现有的 MRAG 框架主要遵循刚性的单步骤检索策略，无法解决信息获取和查询改写的现实挑战。本文提出了多模态检索增强生成计划(MRAG Planning)任务，旨在有效地进行信息检索和整合，同时最小化计算开销。具体而言，我们提出了受人类认知过程启发的 agentic 插件式框架 CogPlanner， iteratively 确定查询改写和检索策略，以生成准确且在上下文上相关的响应。CogPlanner 支持并行和顺序建模范式。进一步地，我们引入了 CogBench，这是一个新型基准，旨在严格评估 MRAG Planning 任务，并促进 CogPlanner 与资源高效 MLLM（如 Qwen2-VL-7B-Cog）的轻量级集成。实验结果表明，CogPlanner 在准确性和效率方面均显著优于现有的 MRAG 基线，仅需额外的计算成本即可实现这一改进。
关键词
引用
@article{arxiv.2501.15470,
title = {CogPlanner: Unveiling the Potential of Agentic Multimodal Retrieval Augmented Generation with Planning},
author = {Xiaohan Yu and Zhihan Yang and Chong Chen},
journal= {arXiv preprint arXiv:2501.15470},
year = {2025}
}
备注
Accepted by SIGIR-AP 2025