MulDE：面向低维知识图谱嵌入的多教师知识蒸馏
人工智能
2021-04-02 v4 计算与语言
机器学习
摘要
基于知识图谱嵌入（KGE）的链接预测旨在预测新三元组以自动构建知识图谱（KGs）。然而，近期的KGE模型通过过度增加嵌入维度来提升性能，这可能带来巨大的训练成本并需要更多存储空间。本文中，我们不直接训练高维模型，而是提出MulDE，一种新颖的知识蒸馏框架，其包含多个低维双曲KGE模型作为教师，以及两个学生组件，即Junior和Senior。在一种新颖的迭代蒸馏策略下，Junior组件作为一个低维KGE模型，基于其初步预测结果主动向教师提问，而Senior组件基于两种机制——关系特定缩放与对比注意力，自适应地整合教师知识以训练Junior组件。实验结果表明，MulDE能有效提升低维KGE模型的性能与训练速度。在多个广泛使用的数据集上，蒸馏得到的32维模型可与最先进的高维方法相竞争。
引用
@article{arxiv.2010.07152,
title = {MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings},
author = {Kai Wang and Yu Liu and Qian Ma and Quan Z. Sheng},
journal= {arXiv preprint arXiv:2010.07152},
year = {2021}
}
备注
Accepted for publication at the Web Conference 2021