基于大语言模型的阿瓦隆游戏中角色识别的长程对话理解
计算与语言
2023-11-13 v1 人工智能
机器学习
摘要
欺骗与说服在多边长程对话中起着关键作用，尤其当参与者的利益、目标和动机不一致时。此类复杂任务对当前大语言模型（LLM）构成挑战，因为欺骗与说服极易误导它们，尤其在长程多方对话中。为此，我们探究阿瓦隆：抵抗组织这一社交推理游戏，玩家须判断彼此隐藏身份以完成己方目标。我们引入一个在线测试平台及一个包含 20 场精心收集并标注的人类玩家对局的数据集，这些对局在合作-竞争环境中展现了长程欺骗。我们探讨了 LLM 利用六名人类玩家间的欺骗性长程对话来确定各玩家目标与动机的能力。特别地，我们讨论了玩家间聊天与作为对话基础的游戏状态的多模态融合，从而进一步洞察玩家真实身份。我们发现，即便当前最先进的 LLM 也未达人类水平，使我们的数据集成为研究 LLM 决策与语言处理能力的有力基准。我们的数据集与在线测试平台见项目网站：https://sstepput.github.io/Avalon-NLU/
引用
@article{arxiv.2311.05720,
title = {Long-Horizon Dialogue Understanding for Role Identification in the Game of Avalon with Large Language Models},
author = {Simon Stepputtis and Joseph Campbell and Yaqi Xie and Zhengyang Qi and Wenxin Sharon Zhang and Ruiyi Wang and Sanketh Rangreji and Michael Lewis and Katia Sycara},
journal= {arXiv preprint arXiv:2311.05720},
year = {2023}
}
备注
Accepted to the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP, Findings of the Association for Computational Linguistics)