学习解释：用于识别多跳问答中有效推理链的数据集与模型
计算与语言
2020-10-08 v1 人工智能
摘要
尽管多跳问答（QA）进展迅速，模型仍难以解释答案为何正确，且可用于学习的解释训练数据有限。为此，我们引入三个解释数据集，其中标注了由语料事实构成的解释。我们的第一个数据集 eQASC 包含针对多跳问答数据集 QASC 的超过 98K 条解释标注，且是首个为每个答案标注多个候选解释的数据集。第二个数据集 eQASC-perturbed 通过对 QASC 中部分解释进行众包扰动（同时保持其有效性）构建，以测试解释预测模型的一致性与泛化能力。第三个数据集 eOBQA 通过为 OBQA 数据集添加解释标注构建，以测试在 eQASC 上训练的模型的泛化能力。我们表明，使用基于 BERT 的分类器，该数据可显著提升解释质量（相较强检索基线绝对 F1 提高 14%），但仍落后于上限，为未来研究提供新挑战。我们还探索了一种去词汇化链表示，其中重复的名词短语被变量替换，从而将其转化为广义推理链（例如：“X 是一种 Y” 且 “Y 具有 Z” 蕴含 “X 具有 Z”）。我们发现广义链在保持性能的同时对特定扰动更具鲁棒性。
引用
@article{arxiv.2010.03274,
title = {Learning to Explain: Datasets and Models for Identifying Valid Reasoning Chains in Multihop Question-Answering},
author = {Harsh Jhamtani and Peter Clark},
journal= {arXiv preprint arXiv:2010.03274},
year = {2020}
}
备注
EMNLP 2020