LUKE-Graph：一种基于 Transformer 并采用门控关系图注意力机制的完形填空式阅读理解方法
计算与语言
2023-09-25 v1 机器学习
摘要
融入先验知识可改进现有的完形填空式机器阅读预训练模型，已成为近期研究的新趋势。值得注意的是，现有多数模型已将外部知识图谱（KG）和基于 Transformer 的模型（如 BERT）整合为统一的数据结构。然而，在 KG 中选择最相关的歧义实体并提取最佳子图仍具挑战。本文中，我们提出 LUKE-Graph，该模型基于文档中实体间的直观关系构建异构图，无需使用任何外部 KG。随后，我们使用关系图注意力（RGAT）网络融合图的推理信息与预训练 LUKE 模型编码的上下文表示。借此，我们可利用 LUKE 获得实体感知表示，并利用图模型获取关系感知表示。此外，我们通过为 RGAT 增加门控机制来调节图卷积操作的问题信息，提出门控 RGAT（Gated-RGAT）。这非常类似于人类推理过程，因为人们总是基于问题信息选择最佳实体候选。实验结果表明，LUKE-Graph 在具有常识推理的 ReCoRD 数据集上取得了最先进的性能。
引用
@article{arxiv.2303.06675,
title = {LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension},
author = {Shima Foolad and Kourosh Kiani},
journal= {arXiv preprint arXiv:2303.06675},
year = {2023}
}
备注
submitted for neurocomputing journal