高效智能体：优化多模态检索增强生成的规划能力
人工智能
2025-08-13 v1
摘要
多模态检索增强生成（mRAG）已成为解决多模态大语言模型（MLLMs）在新闻分析和热门话题等现实场景中时效性局限的一种有前景的解决方案。然而，现有方法往往存在检索策略僵化和视觉信息利用不足的问题。为弥补这一差距，我们提出了 E-Agent，一个具有两项关键创新的智能体框架：一个经过训练的 mRAG 规划器，能够基于上下文推理动态编排多模态工具；以及一个任务执行器，采用工具感知的执行排序来实现优化的 mRAG 工作流。E-Agent 采用一次性 mRAG 规划策略，在实现高效信息检索的同时，最大限度地减少冗余的工具调用。为了严格评估 mRAG 系统的规划能力，我们引入了真实世界 mRAG 规划（RemPlan）基准。这个新颖的基准包含检索依赖和检索独立两种问题类型，并系统地为每个实例标注了所需的基本检索工具。该基准明确的 mRAG 规划标注和多样化的问题设计，通过模拟需要动态 mRAG 决策的真实场景，增强了其实用相关性。在 RemPlan 和三个既定基准上的实验证明了 E-Agent 的优越性：与最先进的 mRAG 方法相比，准确率提升了 13%，同时减少了 37% 的冗余搜索。
引用
@article{arxiv.2508.08816,
title = {Efficient Agent: Optimizing Planning Capability for Multimodal Retrieval Augmented Generation},
author = {Yuechen Wang and Yuming Qiao and Dan Meng and Jun Yang and Haonan Lu and Zhenyu Yang and Xudong Zhang},
journal= {arXiv preprint arXiv:2508.08816},
year = {2025}
}