结合利用语义相似度的知识图谱编码器的 ALBERT 常识问答模型
计算与语言
2022-11-15 v1 人工智能
摘要
近来，诸如来自变换器的双向编码器表示（BERT）等预训练语言表示模型在常识问答（CSQA）中表现良好。然而，这些模型不直接使用存在于外部的知识源的显式信息，这是一个问题。为此，已提出知识感知图网络（KagNet）和多跳图关系网络（MHGRN）等补充方法。在本研究中，我们提出使用最新的预训练语言模型轻量版来自变换器的双向编码器表示（ALBERT）并结合知识图谱信息抽取技术。我们还提出将新方法——模式图扩展应用于近期的语言模型。随后，我们分析了将基于知识图谱的知识抽取技术应用于近期预训练语言模型的效果，并确认模式图扩展在某种程度上是有效的。此外，我们表明所提模型在 CommonsenseQA 数据集上能取得优于现有 KagNet 和 MHGRN 模型的性能。
引用
@article{arxiv.2211.07065,
title = {ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering},
author = {Byeongmin Choi and YongHyun Lee and Yeunwoong Kyung and Eunchan Kim},
journal= {arXiv preprint arXiv:2211.07065},
year = {2022}
}
备注
12 pages, 9 figures