BELLE：面向多跳问答的双层多智能体推理框架
计算与语言
2025-05-20 v1
摘要
多跳问答涉及查找多个相关段落并进行逐步推理以回答复杂问题。以往的多跳问答研究基于大型语言模型(LLM)，无论问题类型，都采用不同建模视角下的特定方法。本文首先对公开的多跳问答基准进行深入分析，将问题分为四类，并评估五种最新方法的多跳问答：链式思维(CoT)、单步、迭代步、子步和自适应步。我们发现，不同类型的多跳问题对不同类型的方法的敏感性存在差异。因此，我们提出了双层多智能体推理(BELLE)框架，以针对问题类型与方法之间的对应关系来解决多跳问答问题，将每种方法类型视为通过对LLM进行不同提示来获得的"操作符"。BELLE的第一层包括多个智能体进行辩论，以获得针对多跳问答任务的综合"操作符"执行计划。在辩论过程中，除了基本的肯定辩手、否定辩手和裁判角色外，在第二层，我们进一步利用快速和慢速辩手来监控观点变化是否合理。大量实验表明，BELLE在各种数据集上均显著优于强大基线。此外，BELLE在更复杂的多跳问答场景下的模型消耗比单一模型更具性价比。
引用
@article{arxiv.2505.11811,
title = {BELLE: A Bi-Level Multi-Agent Reasoning Framework for Multi-Hop Question Answering},
author = {Taolin Zhang and Dongyang Li and Qizhou Chen and Chengyu Wang and Xiaofeng He},
journal= {arXiv preprint arXiv:2505.11811},
year = {2025}
}
备注
Accepted by ACL2025 main track