释放大语言模型中的涌现认知协同:一种通过多人格自我协作的任务求解智能体
人工智能
2024-03-27 v4 计算与语言
摘要
人类智能得益于认知协同,其中不同心智的协作比孤立个体产生更优结果。本工作中,我们提出 Solo Performance Prompting(SPP),其通过将单一 LLM 转化为认知协同者,与多个人格进行多轮自我协作。认知协同者是一种智能体,协作结合多心智的优势与知识以增强复杂任务中的问题求解。SPP 基于任务输入动态识别并模拟不同人格,从而释放 LLM 中认知协同的潜力。我们的深入分析表明,在 LLM 中分配多个细粒度人格相比使用单一或固定数量人格可提升问题求解能力。我们在三项挑战性任务上评估 SPP:Trivia Creative Writing、Codenames Collaborative 与 Logic Grid Puzzle,涵盖知识密集与推理密集两类。与 Chain-of-Thought 等仅增强 LLM 推理能力的先前工作不同,实验结果表明 SPP 有效减少了事实幻觉,并保持了强推理能力。此外,对比实验显示认知协同仅在 GPT-4 中涌现,而在 GPT-3.5-turbo 与 Llama2-13b-chat 等能力较弱模型中不出现,这与人类发展形成有趣类比。代码、数据与提示见于:https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git。
引用
@article{arxiv.2307.05300,
title = {Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration},
author = {Zhenhailong Wang and Shaoguang Mao and Wenshan Wu and Tao Ge and Furu Wei and Heng Ji},
journal= {arXiv preprint arXiv:2307.05300},
year = {2024}
}
备注
Accepted as a main conference paper at NAACL 2024