DualDE：双重蒸馏知识图谱嵌入以实现更快更省推理
人工智能
2021-12-14 v2
摘要
知识图谱嵌入（KGE）是一种流行的KG推理方法，通常倾向于使用更高维度训练KGE，因为它们具有更好的推理能力。然而，高维KGE对存储和计算资源提出巨大挑战，且不适合资源受限或时间受限的应用，这类应用需要更快更省的推理。为解决此问题，我们提出DualDE，一种知识蒸馏方法，从预训练的高维教师KGE构建低维学生KGE。DualDE考虑了教师与学生之间的双重影响。在DualDE中，我们提出软标签评估机制，为不同三元组自适应分配不同的软标签与硬标签权重，并提出两阶段蒸馏方法以提高学生对教师的接受度。我们的DualDE具有足够的通用性，可应用于各种KGE。实验结果表明，我们的方法能成功将高维KGE的嵌入参数减少7至15倍，并将推理速度提升2至6倍，同时保持高性能。我们还通过消融研究实验证明了软标签评估机制和两阶段蒸馏方法的有效性。
引用
@article{arxiv.2009.05912,
title = {DualDE: Dually Distilling Knowledge Graph Embedding for Faster and Cheaper Reasoning},
author = {Yushan Zhu and Wen Zhang and Mingyang Chen and Hui Chen and Xu Cheng and Wei Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2009.05912},
year = {2021}
}
备注
Accepted at WSDM 2022