从宽到深：用于参数高效知识图谱嵌入的维度提升网络
机器学习
2024-09-04 v4 人工智能
计算与语言
摘要
知识图谱嵌入（KGE）将实体与关系映射为向量表示，对下游应用至关重要。传统 KGE 方法需要高维表示以学习知识图谱的复杂结构，但导致模型参数量过大。近期进展通过低维实体表示来减少参数，同时发展技术（如知识蒸馏或重新设计的表示形式）以补偿降维损失。然而，此类操作引入了复杂计算与模型设计，可能不利于大规模知识图谱。为寻求一种简单策略来提升传统 KGE 模型的参数效率，我们受以下启发：对于组合结构，更深的神经网络仅需指数级更少的参数即可获得与更宽网络相当的表示能力。我们将所有实体表示视为单层嵌入网络，而采用高维实体表示的传统 KGE 方法等同于拓宽嵌入网络以获取表示能力。为实现参数效率，我们转而提出一种更深的实体表示嵌入网络，即窄实体嵌入层加多层维度提升网络（LiftNet）。在三个公开数据集上的实验表明，通过集成 LiftNet，四种采用 16 维表示的传统 KGE 方法取得了与采用 512 维表示的原始模型相当的链接预测精度，节省了 68.4% 至 96.9% 的参数。
引用
@article{arxiv.2303.12816,
title = {From Wide to Deep: Dimension Lifting Network for Parameter-efficient Knowledge Graph Embedding},
author = {Borui Cai and Yong Xiang and Longxiang Gao and Di Wu and He Zhang and Jiong Jin and Tom Luan},
journal= {arXiv preprint arXiv:2303.12816},
year = {2024}
}