常识知识与基于注意力的 NLI 模型双线性融合
计算与语言
2020-10-23 v1 机器学习
摘要
我们考虑将真实世界常识知识融入深度自然语言推理（NLI）模型这一任务。现有的外部知识融入方法局限于词汇级知识，且缺乏跨 NLI 模型、数据集与常识知识源的可泛化性。为解决这些问题，我们提出一种与 NLI 模型无关的新型神经框架 BiCAM。BiCAM 将真实世界常识知识融入 NLI 模型。结合卷积特征检测器与双线性特征融合，BiCAM 提供了一种概念上简单且泛化良好的机制。在 SNLI 与 SciTail 数据集上，结合 ConceptNet 与 Aristo Tuple 知识图谱，使用两个最优 NLI 基线进行的定量评估表明，BiCAM 显著提升了所融入 NLI 基线的准确率。例如，我们的 BiECAM 模型（BiCAM 的一个实例）在具挑战性的 SciTail 数据集上，借助 ConceptNet 将融入基线的准确率提升 7.0%，借助 Aristo Tuple KG 提升 8.0%。
引用
@article{arxiv.2010.11562,
title = {Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models},
author = {Amit Gajbhiye and Thomas Winterbottom and Noura Al Moubayed and Steven Bradley},
journal= {arXiv preprint arXiv:2010.11562},
year = {2020}
}
备注
Published in Lecture Notes in Computer Science, Springer International Publishing