FIREBALL：一个带有结构化游戏状态信息的龙与地下城实际游玩数据集
计算与语言
2023-09-22 v3 人工智能
摘要
龙与地下城(D&D)是一款桌面角色扮演游戏，玩家之间具有复杂的自然语言交互，并包含隐藏状态信息。近期研究表明，能够访问状态信息的大语言模型(LLMs)比仅使用对话历史的LLMs能生成更高质量的游戏回合。然而，先前工作所使用的游戏状态信息是启发式创建的，并非真正的金标准游戏状态。我们提出FIREBALL，一个包含Discord上真实D&D游戏中近25,000个独特会话并带有真实游戏状态信息的大型数据集。我们记录了使用Avrae机器人的玩家游戏会话，该机器人是为辅助人们在线游玩D&D而开发的，从而捕获语言、游戏命令及底层游戏状态信息。我们证明，FIREBALL可通过使用Avrae状态信息改进自然语言生成(NLG)，提升自动化指标和人工质量评判。此外，我们展示LLMs能够生成可执行的Avrae命令，尤其在微调之后。
引用
@article{arxiv.2305.01528,
title = {FIREBALL: A Dataset of Dungeons and Dragons Actual-Play with Structured Game State Information},
author = {Andrew Zhu and Karmanya Aggarwal and Alexander Feng and Lara J. Martin and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2305.01528},
year = {2023}
}
备注
21 pages, 2 figures. Accepted at ACL 2023