SemPool：用于增强语言模型的简单、鲁棒且可解释的 KG 池化
计算与语言
2024-02-07 v1 人工智能
摘要
由知识图谱（KG）驱动的问答（QA）在语言语义和知识事实上执行复杂的推理。图神经网络（GNN）学习从底层 KG 中聚合信息，并将其与语言模型（LM）结合，以便针对给定问题进行有效推理。然而，基于 GNN 的 QA 方法依赖于候选答案节点的图信息，这限制了它们在关键答案信息未包含在 KG 中的更具挑战性设置下的有效性。我们提出了一种简单的图池化方法，该方法学习 KG 中有助于 LM 推理的有用语义，并且其有效性在图扰动下具有鲁棒性。我们的方法称为 SemPool，使用预训练的 LM 表示 KG 事实，学习聚合其语义信息，并将其融合到 LM 的不同层中。我们的实验结果表明，当 KG 中缺失答案信息时，SemPool 的准确率平均比最先进的基于 GNN 的方法高出 2.27 个百分点。此外，SemPool 提供了关于在不同 LM 层融合了何种类型的图信息的可解释性。
引用
@article{arxiv.2402.02289,
title = {SemPool: Simple, robust, and interpretable KG pooling for enhancing language models},
author = {Costas Mavromatis and Petros Karypis and George Karypis},
journal= {arXiv preprint arXiv:2402.02289},
year = {2024}
}