StepGame：面向文本中鲁棒多跳空间推理的新基准
计算与语言
2022-04-19 v1 人工智能
摘要
在自然语言中推断空间关系是一个智能系统应具备的关键能力。bAbI数据集试图涵盖与该领域相关的任务（任务17和19）。然而，这些任务存在若干局限。最重要的是，它们局限于固定的表达方式，所需推理步数有限，并且未能测试模型对含有无关或冗余信息输入的鲁棒性。本文提出一个名为StepGame的新的问答数据集，用于文本中鲁棒的多跳空间推理。我们的实验表明，在bAbI数据集上达到最优表现的模型在StepGame数据集上表现不佳。此外，我们提出了一种基于张量积的记忆增强神经网络（TP-MANN），专用于空间推理任务。在两个数据集上的实验结果显示，我们的模型以更优的泛化与鲁棒性表现超越了所有基线模型。
引用
@article{arxiv.2204.08292,
title = {StepGame: A New Benchmark for Robust Multi-Hop Spatial Reasoning in Texts},
author = {Zhengxiang Shi and Qiang Zhang and Aldo Lipani},
journal= {arXiv preprint arXiv:2204.08292},
year = {2022}
}
备注
AAAI 2022 Camera Ready