解读数字侦探：理解多智能体推理游戏中的 LLM 行为与能力
人工智能
2024-03-01 v2
摘要
在本研究中，我们探索了大语言模型（LLMs）在剧本杀（Jubensha，一种中国侦探角色扮演游戏，也是人工智能（AI）驱动游戏中的新兴领域）中的应用。我们引入了首个专为剧本杀设计的数据集，包含角色剧本与游戏规则，以促进这一复杂叙事环境中 AI 智能体的开发。我们的工作还提出了一种使用 LLM 的独特多智能体交互框架，使 AI 智能体能够自主参与该游戏。为评估这些 AI 智能体的游戏表现，我们开发了衡量其对案件信息掌握程度与推理能力的新方法。此外，我们融入了上下文学习的最新进展，以提升智能体在信息收集、凶手识别与逻辑推理方面的表现。实验结果验证了我们所提方法的有效性。本工作旨在为理解 LLM 能力提供新视角，并建立一个评估基于大语言模型的智能体的新基准。
引用
@article{arxiv.2312.00746,
title = {Deciphering Digital Detectives: Understanding LLM Behaviors and Capabilities in Multi-Agent Mystery Games},
author = {Dekun Wu and Haochen Shi and Zhiyuan Sun and Bang Liu},
journal= {arXiv preprint arXiv:2312.00746},
year = {2024}
}