SalKG：从知识图谱解释中学习用于常识推理
计算与语言
2022-12-20 v5 人工智能
机器学习
摘要
用知识图谱（KGs）增强预训练语言模型已在多项常识推理任务上取得成功。然而，对于给定任务实例，KG 或其某些部分可能并无用处。尽管 KG 增强模型常使用注意力聚焦于特定 KG 组件，KG 仍总被使用，且注意力机制从未被显式教导应使用哪些 KG 组件。同时，显著性方法可衡量某 KG 特征（如子图、节点、路径）对模型作出正确预测的影响程度，从而解释哪些 KG 特征有用。本文探讨如何利用显著性解释提升 KG 增强模型性能。首先，我们提出创建粗粒度（KG 是否有用？）与细粒度（KG 中哪些节点/路径有用？）显著性解释。其次，为激发基于显著性的监督，我们分析直接使用显著性解释作为额外输入以引导注意力的预言 KG 增强模型。第三，我们提出 SalKG，一种使 KG 增强模型从粗粒度和/或细粒度显著性解释学习的框架。给定从任务训练集创建的显著性解释，SalKG 联合训练模型预测解释，继而通过关注被预测解释高亮的 KG 特征来解决任务。在三个常识问答基准（CSQA、OBQA、CODAH）及一系列 KG 增强模型上，我们表明 SalKG 可带来可观性能提升——在 CSQA 上最高达 2.76% 绝对提升。
引用
@article{arxiv.2104.08793,
title = {SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning},
author = {Aaron Chan and Jiashu Xu and Boyuan Long and Soumya Sanyal and Tanishq Gupta and Xiang Ren},
journal= {arXiv preprint arXiv:2104.08793},
year = {2022}
}
备注
NeurIPS 2021