基于大语言模型的角色化AI智能体
计算与语言
2024-03-20 v1 人工智能
摘要
大语言模型（LLMs）的进步显著提升了聊天机器人系统的性能。许多研究者致力于开发赋予聊天机器人特定角色的能力。尽管已有使用LLMs开发角色驱动聊天机器人的商业产品，但值得注意的是，该领域的学术研究仍然相对稀缺。我们的研究侧重于通过在不同设定下模拟真实个体，来探究LLMs在构建角色化AI智能体方面的性能。当前的调查主要集中在扮演具有简单背景的角色上。为弥补这一研究空白，我们为角色化AI智能体任务创建了一个基准，包括数据集、技术和评估指标。为此基准构建了一个名为“Character100”的数据集，包含维基百科上访问量最高的人物，供语言模型进行角色扮演。利用构建的数据集，我们对LLMs在不同设定下进行了全面评估。此外，我们设计了一套用于定量性能评估的自动指标。实验结果揭示了进一步提升LLMs构建角色化AI智能体能力的潜在方向。该基准见：https://github.com/nuaa-nlp/Character100。
引用
@article{arxiv.2403.12368,
title = {Characteristic AI Agents via Large Language Models},
author = {Xi Wang and Hongliang Dai and Shen Gao and Piji Li},
journal= {arXiv preprint arXiv:2403.12368},
year = {2024}
}
备注
COLING 2024,The benchmark is available at: https://github.com/nuaa-nlp/Character100