面向语义网络补全的多任务预训练语言模型
计算与语言
2022-04-29 v2 人工智能
摘要
语义网络（如知识图谱）可利用图结构表示知识。尽管知识图谱在自然语言处理中展现出良好价值，但其存在不完整性。本文聚焦于通过预测实体间链接来完成知识图谱补全，这是一项基础且关键的任务。语义匹配是一种潜在的解决方案，因为它能处理未见过的实体，而基于平移距离的方法在此方面存在困难。然而，为取得与基于平移距离的方法相竞争的性能，基于语义匹配的方法需要大规模训练数据集，而实际场景中通常难以获取。因此，我们采用语言模型并提出了一种名为 LP-BERT 的新型知识图谱架构，其包含两个主要阶段：多任务预训练与知识图谱微调。在预训练阶段，通过三个任务驱动模型通过预测实体或关系来学习三元组中的关系。而在微调阶段，受对比学习启发，我们设计了批内三元组风格负采样，在几乎不增加训练时间的同时大幅提高了负采样比例。此外，我们提出了一种利用三元组逆关系的数据增强方法，以提升模型的性能与鲁棒性。为证明方法有效性，我们在三个广泛使用的数据集 WN18RR、FB15k-237 和 UMLS 上进行了大量实验。实验结果表明了我们所提方法的优越性，且我们的方法在 WN18RR 和 FB15k-237 数据集上取得了 SOTA 结果。值得注意的是，在 WN18RR 数据集上 Hits@10 指标较先前 SOTA 结果提升了 5%，而在 UMLS 数据集上达到了 100%。
引用
@article{arxiv.2201.04843,
title = {Multi-task Pre-training Language Model for Semantic Network Completion},
author = {Da Li and Sen Yang and Kele Xu and Ming Yi and Yukai He and Huaimin Wang},
journal= {arXiv preprint arXiv:2201.04843},
year = {2022}
}