Council Mode:用于减少LLM幻觉与偏差的异构多智能体共识框架
计算与语言
2026-04-28 v3 人工智能
摘要
大语言模型(LLMs)已展示出先进的能力,但常常 suffers from事实性不准确(幻觉)和系统性偏差。这些问题在特定架构中(如激活函数为专家(MoE)的架构,这些架构激发了我们的工作)可能被放大,对于可靠的部署构成风险。为了应对这些挑战,我们提出Council Mode(议会模式),一种多智能体共识框架。我们的methods将查询分派给多个异构的前沿LLMs并行处理,然后使用专用的共识模型来综合其输出。该管道包含三个阶段:针对查询复杂度的智能分流、跨模型的并行生成,以及识别一致性、不一致性和独特发现的结构化综合。在我们的评估中,在受控无网络环境下,Council Mode在1200个样本的HaluEval子集上实现了35.9%的相对幻觉率降低,在TruthfulQA上实现了7.8分的提升。在我们精选的MDR-500多域推理基准测试中,Council Mode实现了91.7%的质量得分,比最佳单个模型高出10.2分。该框架在我们基于评价规范的评估协议下也表现出较低的偏差方差。我们提供的成本效益分析显示,该框架增加了4.2倍的token消耗,使其最适合准确性优先的应用场景,其中错误成本超过额外推理成本。这些发现表明,结构化的多智能体共识是增强LLM生成内容可靠性和事实依托性的有前景的方向。
引用
@article{arxiv.2604.02923,
title = {Council Mode: A Heterogeneous Multi-Agent Consensus Framework for Reducing LLM Hallucination and Bias},
author = {Shuai Wu and Xue Li and Yanna Feng and Yufang Li and Zhijun Wang and Ran Wang},
journal= {arXiv preprint arXiv:2604.02923},
year = {2026}
}
备注
24 pages, 8 figures, 16 tables, 1 algorithm. Open-source implementation: https://github.com/Noah-Wu66/Vectaix-Research. Archived software DOI: 10.5281/zenodo.19767626