龙与地下城作为人工智能的对话挑战
计算与语言
2023-09-22 v1 人工智能
摘要
AI 研究者已将龙与地下城（D&D）定位为一个挑战性问题，用以测试系统在多种语言相关能力上的表现。在本文中，我们具体将 D&D 构建为一个对话系统挑战，其任务既包括生成游戏中下一轮对话，也包括根据对话历史预测游戏状态。我们构建了一个包含近 900 场游戏的游戏数据集，总计 7,000 名玩家、800,000 轮对话、500,000 次掷骰和 5,800 万词。我们自动以关于游戏玩法的部分状态信息标注数据。我们训练了一个大语言模型（LM）来生成下一轮游戏，并以不同信息为条件。该 LM 可以特定角色或运行游戏的玩家——即地下城主（DM）——的身份回应。它被训练为产生角色内（虚构世界中的角色扮演）或角色外（讨论规则或策略）的对话。我们进行人工评估以确定哪些因素使生成输出合理且有趣。我们进一步进行自动评估，以确定模型在给定历史下预测游戏状态的能力，并考察跟踪游戏状态在多大程度上提升了其产生合理对话输出的能力。
引用
@article{arxiv.2210.07109,
title = {Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence},
author = {Chris Callison-Burch and Gaurav Singh Tomar and Lara J. Martin and Daphne Ippolito and Suma Bailis and David Reitter},
journal= {arXiv preprint arXiv:2210.07109},
year = {2023}
}
备注
Accepted at EMNLP 2022