多专家提示提升大型语言模型的可靠性、安全性和有用性
计算与语言
2024-11-04 v1
摘要
我们提出了Multi-expert Prompting，这是对ExpertPrompting（Xu等人，2023）的一种新颖增强，旨在改进大型语言模型（LLM）的生成。具体而言，它通过模拟多位专家、聚合他们的响应，并在个体响应和聚合响应中选择最佳答案，来引导LLM完成输入指令。这一过程通过我们从名义小组技术（Nominal Group Technique，Ven和Delbecq，1974）中精心设计的七个子任务，在单条思维链中完成，名义小组技术是一种成熟的决策框架。我们的评估表明，Multi-expert Prompting在提升响应的真实性、事实性、信息性和有用性以及降低毒性和伤害性方面，显著优于ExpertPrompting和可比基线。它还通过ChatGPT以8.69%的优势超越最佳基线，实现了最先进的真实性。Multi-expert Prompting高效、可解释且高度适应多样化场景，无需手动构建提示。
引用
@article{arxiv.2411.00492,
title = {Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models},
author = {Do Xuan Long and Duong Ngoc Yen and Anh Tuan Luu and Kenji Kawaguchi and Min-Yen Kan and Nancy F. Chen},
journal= {arXiv preprint arXiv:2411.00492},
year = {2024}
}
备注
EMNLP 2024 Main Conference