面向 LLM 基于多智能体集体决策的选举方法
计算与语言
2024-10-22 v1
摘要
现代大语言模型 (LLM) 在复杂任务解决方面展现出合作协同作用，集体决策 (CDM) 是 LLM 基于多智能体协作框架中的关键组成部分。我们的调查发现，52 项近期此类系统中存在严重的多样性不足，严重依赖于独裁和 plurality 投票进行 CDM。借助社会选择理论，我们审视了广泛采用的 CDM 方法并识别其局限性。为丰富当前 LLM 基于 CDM 的格局，我们提出 GEDI，一种包含多种序数偏好投票机制的选举 CDM 模块。我们的实证案例研究在三个基准测试中显示，某些 CDM 方法的集成可显著提升领先 LLM 的推理能力和鲁棒性，无需复杂的系统设计。此外，我们发现即使仅使用三个智能体，某些 CDM 机制也可产生正向协同作用。基于投票的方法也显示出对单点故障的鲁棒性，以及在 hit-rate@k 和主题层面影响方面的多样性。
引用
@article{arxiv.2410.15168,
title = {An Electoral Approach to Diversify LLM-based Multi-Agent Collective Decision-Making},
author = {Xiutian Zhao and Ke Wang and Wei Peng},
journal= {arXiv preprint arXiv:2410.15168},
year = {2024}
}
备注
Accepted to EMNLP 2024