识别、对齐与整合:将知识图谱匹配到常识推理任务

将外部知识整合到常识推理任务中已在解决这些任务中部分而非全部知识缺口方面显示出进展。为使知识整合产生峰值性能,选择与目标任务目标良好对齐的知识图谱(KG)至关重要。我们提出一种评估候选 KG 能多好地正确识别并准确填补任务推理缺口的方法,称之为 KG-任务匹配。我们以 3 个阶段展示该 KG-任务匹配:知识-任务识别、知识-任务对齐和知识-任务整合。我们还通过常识探针分析基于 transformer 的 KG-任务模型,以衡量 KG 整合前后这些模型捕获了多少知识。在经验上,我们针对 SocialIQA (SIQA) (Sap et al., 2019b)、Physical IQA (PIQA) (Bisk et al., 2020) 和 MCScript2.0 (Ostermann et al., 2019) 数据集,使用 3 种多样 KG:ATOMIC (Sap et al., 2019a)、ConceptNet (Speer et al., 2017) 和基于 WikiHow 自动构建的指令 KG (Koupaee and Wang, 2018) 研究 KG 匹配。借助我们的方法,我们能够证明以事件推断为核心的 ATOMIC 是 SIQA 和 MCScript2.0 的最佳匹配,而分类式 ConceptNet 和基于 WikiHow 的 KG 在所有 3 个分析阶段是 PIQA 的最佳匹配。我们通过人工评估验证我们的方法与发现。