JECC：基于交互式小说的常识推理任务
计算与语言
2023-05-29 v2 人工智能
摘要
常识推理模拟人类对我们物理世界做出推测的能力，是构建通用 AI 系统的重要基石。我们提出一种基于人类交互式小说（IF）游戏通关记录的新常识推理数据集，因为人类玩家展现了丰富且多样的常识推理。该新数据集自然混合了多种推理类型，并需要多跳推理。此外，基于 IF 游戏的构建过程比先前方法需要少得多的人为干预。与现有基准不同，我们的数据集侧重于评估功能性常识知识规则而非事实性知识。因此，为在我们的任务上取得更高性能，模型需要有效利用此类功能性知识来推断动作的结果，而非仅依赖记忆事实。实验表明，所引入的数据集对以往的机器阅读模型以及新型大语言模型均具挑战性，与人类专家相比存在显著的 20% 性能差距。
引用
@article{arxiv.2210.15456,
title = {JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions},
author = {Mo Yu and Yi Gu and Xiaoxiao Guo and Yufei Feng and Xiaodan Zhu and Michael Greenspan and Murray Campbell and Chuang Gan},
journal= {arXiv preprint arXiv:2210.15456},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2010.09788