大型语言模型在角色扮演中的决策能力
计算与语言
2024-03-01 v1 人工智能
摘要
大型语言模型 (LLM) 越来越多地被用于角色扮演任务，尤其是在扮演特定领域专家方面，主要通过角色扮演提示词实现。当在现实场景中进行交互时，角色的决策能力显著影响其行为模式。本文聚焦于评估大型语言模型进行角色扮演后的决策能力，从而验证角色扮演的有效性。我们的目标是为提高大型语言模型在角色扮演任务中的决策能力提供指标和指导。具体而言，我们首先使用大型语言模型生成对应于迈尔斯-布里gs类型指示器 (MBTI) 16种人格类型的虚拟角色描述，实现人口分段。随后，我们设计具体的量化操作，从适应性、探索与开发的权衡能力、推理能力和安全性四个方面评估大型语言模型进行角色扮演后的决策能力。最后，我们通过GPT-4分析决策能力表现与相应MBTI类型之间的关联。广泛的实验结果表明，不同角色在决策能力的四个方面存在稳定差异，表明决策能力与大型语言模型所模拟的角色之间存在稳健的相关性。这些结果强调，大型语言模型能够有效地扮演各种角色，同时体现其所模拟角色的真实社会学特征。
引用
@article{arxiv.2402.18807,
title = {On the Decision-Making Abilities in Role-Playing using Large Language Models},
author = {Chenglei Shen and Guofu Xie and Xiao Zhang and Jun Xu},
journal= {arXiv preprint arXiv:2402.18807},
year = {2024}
}