一图胜千言：面向多模态推理的蓝图辩论范式
人工智能
2024-08-07 v2 计算与语言
多智能体系统
多媒体
摘要
本文提出了一项旨在将多智能体辩论引入多模态推理的初步研究。该研究解决了两个关键挑战：过度总结导致的观点平凡化，以及图像中引入的干扰概念导致的注意力分散。这些挑战源于现有辩论方案的归纳（自底向上）性质。为了解决这一问题，我们提出了一种演绎（自顶向下）的辩论方法，称为图上蓝图辩论（BDoG）。在 BDoG 中，辩论被限制在蓝图图内，以防止通过世界级总结导致观点平凡化。此外，通过将证据存储在图的分支中，BDoG 减轻了由频繁但不相关的概念引起的干扰。大量实验验证了 BDoG 在 ScienceQA 和 MMBench 上能够取得 SOTA 结果，且相比先前方法有显著提升。源代码可在 https://github.com/thecharm/BDoG 获取。
引用
@article{arxiv.2403.14972,
title = {A Picture Is Worth a Graph: A Blueprint Debate Paradigm for Multimodal Reasoning},
author = {Changmeng Zheng and Dayong Liang and Wengyu Zhang and Xiao-Yong Wei and Tat-Seng Chua and Qing Li},
journal= {arXiv preprint arXiv:2403.14972},
year = {2024}
}
备注
Accepted by ACM Multimedia 2024