伟大的真理总是简单的：一种用于增强预训练模型常识推理能力的极简知识编码器
计算与语言
2022-05-05 v1 人工智能
摘要
自然语言中的常识推理是人工智能系统应具备的能力。为解决复杂常识推理任务，典型方案是用知识感知图神经网络（GNN）编码器增强预训练语言模型（PTMs），该编码器对常识知识图谱（CSKG）建模。尽管有效，这些方法建立在繁重架构上，且无法清晰解释外部知识资源如何提升 PTMs 的推理能力。鉴于此，我们进行深度实证分析，发现确为来自 CSKGs 的关系特征（而非节点特征）主要促成 PTMs 的性能提升。基于该发现，我们设计了一个简单的基于 MLP 的知识编码器，利用统计关系路径作为特征。在五个基准上开展的广泛实验证明了我们方法的有效性，其也大幅减少了编码 CSKGs 的参数。我们的代码和数据公开于 https://github.com/RUCAIBox/SAFE。
引用
@article{arxiv.2205.01841,
title = {Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models},
author = {Jinhao Jiang and Kun Zhou and Wayne Xin Zhao and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2205.01841},
year = {2022}
}
备注
12 pages, NAACL-Findings-2022