我所知你不知：基于协同蒸馏学习的知识图谱嵌入
计算与语言
2022-09-16 v3 人工智能
摘要
知识图谱（KG）嵌入旨在学习实体与关系的向量表示。传统模型基于图结构进行推理，但存在图不完整与长尾实体的问题。近期研究利用预训练语言模型根据实体与关系的文本信息学习嵌入，却无法利用图结构。本文通过实验表明，这两类特征对 KG 嵌入具有互补性。为此，我们提出 CoLE，一种利用图结构与文本信息互补性的 KG 嵌入协同蒸馏学习（Co-distillation Learning）方法。其图嵌入模型采用 Transformer 从实体的邻域子图重构其实体表示；其文本嵌入模型使用预训练语言模型，从实体名称、描述与关系邻居的软提示（soft prompts）生成实体表示。为使两模型相互促进，我们提出协同蒸馏学习，使它们从彼此的预测 logits 中蒸馏选择性知识。在我们的协同蒸馏学习中，每个模型同时充当教师与学生。在基准数据集上的实验表明，两个模型均优于各自相关基线，且采用协同蒸馏学习的集成方法 CoLE 推进了 KG 嵌入的当前最优水平（SOTA）。
引用
@article{arxiv.2208.09828,
title = {I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning},
author = {Yang Liu and Zequn Sun and Guangyao Li and Wei Hu},
journal= {arXiv preprint arXiv:2208.09828},
year = {2022}
}
备注
Accepted in the 31st ACM International Conference on Information and Knowledge Management (CIKM 2022)