Exchange-of-Thought：通过跨模型通信增强大语言模型能力
计算与语言
2023-12-05 v1
摘要
大语言模型（LLMs）最近通过思维链技术在复杂推理任务中取得了显著进展。尽管取得了这些进展，它们的推理常常受限于其内在理解，缺乏外部洞察。为了解决这个问题，我们提出了Exchange-of-Thought（EoT），一种新颖的框架，能够在问题解决过程中实现跨模型通信。受网络拓扑启发，EoT整合了四种独特的通信范式：记忆、报告、中继和辩论。本文深入研究了每种范式相关的通信动态和通信量。为了平衡错误推理链的风险，我们在这些通信中实施了稳健的置信度评估机制。我们在多个复杂推理任务上的实验表明，EoT显著超越了已有基线，突显了外部洞察在增强LLM性能中的价值。此外，我们展示了EoT以成本效益的方式实现了这些优越结果，标志着高效协作式AI问题解决的一个有前景的进展。
引用
@article{arxiv.2312.01823,
title = {Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication},
author = {Zhangyue Yin and Qiushi Sun and Cheng Chang and Qipeng Guo and Junqi Dai and Xuanjing Huang and Xipeng Qiu},
journal= {arXiv preprint arXiv:2312.01823},
year = {2023}
}
备注
19 pages, 11 figures, accepted by EMNLP2023