M$^3$Prune:面向高效多模态多智能体检索增强生成的分层通信图剪枝
人工智能
2025-11-26 v1
摘要
近期,多模态检索增强生成 (mRAG) 的快速进展表明,通过有效沟通,多个智能体的集体智慧显著优于单一模型。尽管性能令人瞩目,但现有多智能体系统本质上会产生大量 token 开销和增加的计算成本,制约了大规模部署。为此,我们提出一种新颖的多模态多智能体分层通信图剪枝框架,称为 MPrune。该框架消除不同模态之间冗余边缘,在任务性能和 token 开销之间实现最佳平衡。具体而言,MPrune 首先对文本和视觉模态分别应用图稀疏化,识别解决任务最关键的边缘。随后,我们利用这些关键边缘构建动态通信拓扑,用于跨模态图稀疏化。最后,我们逐步剪枝冗余边缘,以获得更高效和分层的拓扑结构。在针对通用和领域特定 mRAG 基准的广泛实验中,我们的方法在显著降低 token 消耗的同时,持续优于单智能体和鲁棒性强的多智能体 mRAG 系统。
引用
@article{arxiv.2511.19969,
title = {M$^3$Prune: Hierarchical Communication Graph Pruning for Efficient Multi-Modal Multi-Agent Retrieval-Augmented Generation},
author = {Weizi Shao and Taolin Zhang and Zijie Zhou and Chen Chen and Chengyu Wang and Xiaofeng He},
journal= {arXiv preprint arXiv:2511.19969},
year = {2025}
}