CKG：基于上下文与知识图谱的动态表示
计算与语言
2022-12-12 v1
摘要
近来，在大规模语料上预训练的神经语言表示模型能够捕获丰富的共现信息，并可在下游任务中微调以提升性能。因此，它们在大量语言任务上取得了 SOTA 结果。然而，外部知识图谱（KGs）中还存在其他有价值的语义信息，如相似、相反或其他可能的含义。我们认为 KGs 中的实体可用于增强语言句子的正确语义。本文提出一种新方法 CKG：基于上下文与知识图谱（Knowledge Graph）的动态表示。一方面，CKG 可提取大规模语料的丰富语义信息；另一方面，它能充分利用大规模语料中的共现等内部信息以及 KGs 中相似实体等外部信息。我们在广泛任务上进行了大量实验，包括 QQP、MRPC、SST-5、SQuAD、CoNLL 2003 与 SNLI。实验结果表明，CKG 在 SQuAD 上取得 SOTA 89.2，优于 SAN（84.4）、ELMo（85.8）与 BERT（88.5）。
引用
@article{arxiv.2212.04909,
title = {CKG: Dynamic Representation Based on Context and Knowledge Graph},
author = {Xunzhu Tang and Tiezhu Sun and Rujie Zhu and Shi Wang},
journal= {arXiv preprint arXiv:2212.04909},
year = {2022}
}