利用角色扮演提示实现更优零样本推理
计算与语言
2024-03-15 v2
摘要
现代大语言模型（LLM）展现出显著的角色扮演能力，使其不仅能扮演人类角色，也可化身非人类实体。这种多功能性使它们能在多种情境中模拟复杂类人交互与行为，并模仿特定物体或系统。尽管这些能力提升了用户参与度并引入了新颖交互模式，角色扮演对 LLM 推理能力的影响仍鲜有探究。本研究中，我们引入一种策略性设计的角色扮演提示方法，并在十二个多样化推理基准下以零样本设定评估其表现。我们的实证结果表明，角色扮演提示在绝大多数数据集上持续优于标准零样本方法。值得注意的是，在使用 ChatGPT 的实验中，AQuA 上的准确率从 53.5% 升至 63.8%，Last Letter 上从 23.8% 升至 84.2%。进一步与提示模型“逐步思考”的 Zero-Shot-CoT 技术比较，我们的研究证明角色扮演提示是 CoT 过程更有效的触发器，凸显了其增强 LLM 推理能力的潜力。我们的代码发布于 https://github.com/NKU-HLT/Role-Play-Prompting。
引用
@article{arxiv.2308.07702,
title = {Better Zero-Shot Reasoning with Role-Play Prompting},
author = {Aobo Kong and Shiwan Zhao and Hao Chen and Qicheng Li and Yong Qin and Ruiqi Sun and Xin Zhou and Enzhi Wang and Xiaohang Dong},
journal= {arXiv preprint arXiv:2308.07702},
year = {2024}
}
备注
NAACL 2024, Main Conference