AR-LSAT：探究文本的分析推理
计算与语言
2021-04-16 v2
摘要
分析推理是一项关键且具有挑战性的任务，要求系统分析涉及一组特定情形的场景，并对其进行推理以得出结论。在本文中，我们研究文本分析推理的挑战，并引入一个由 1991 年至 2016 年法学院入学考试题目组成的新数据集。我们分析了在此任务上取得良好表现所需的知识理解与推理能力。此外，为应对该推理挑战，我们设计了两种不同的基线：（1）基于 Transformer 的方法，利用最先进的预训练语言模型；（2）分析推理机（ARM），一种提取符号知识（如参与者、事实、逻辑函数）以推导合法解的逻辑级推理框架。在我们的实验中，我们发现基于 Transformer 的模型难以解决该任务，其性能接近随机猜测，而 ARM 通过利用符号知识及可解释的推理步骤取得了更好的性能。结果表明，两种方法仍远落后于人类表现，这为未来研究留下了空间。
引用
@article{arxiv.2104.06598,
title = {AR-LSAT: Investigating Analytical Reasoning of Text},
author = {Wanjun Zhong and Siyuan Wang and Duyu Tang and Zenan Xu and Daya Guo and Jiahai Wang and Jian Yin and Ming Zhou and Nan Duan},
journal= {arXiv preprint arXiv:2104.06598},
year = {2021}
}
备注
13 pages, 5 figures