面向参数高效组合式知识图谱表示的随机实体量化
人工智能
2023-10-25 v1 计算与语言
机器学习
摘要
知识图谱（KG）上的表示学习对下游任务至关重要。主流方法 KG 嵌入（KGE）以独立向量表示实体，面临可扩展性挑战。近期研究提出一种替代方案以实现参数高效：通过从预定义小规模码本中匹配实体对应码字并组合来表示实体。我们将获取各实体对应码字的过程称为实体量化，先前工作为此设计了复杂策略。令人惊讶的是，本文表明简单的随机实体量化即可取得与当前策略相近的结果。我们分析该现象并揭示：在随机实体量化下，用于表达实体的实体码在码级具有更高熵、在码字级具有更高 Jaccard 距离。因此，不同实体更易区分，有助于有效的 KG 表示。上述结果表明，当前量化策略对 KG 表示并非关键，且在实体可区分性方面超越当前策略仍有改进空间。复现结果的代码见 https://github.com/JiaangL/RandomQuantization。
引用
@article{arxiv.2310.15797,
title = {Random Entity Quantization for Parameter-Efficient Compositional Knowledge Graph Representation},
author = {Jiaang Li and Quan Wang and Yi Liu and Licheng Zhang and Zhendong Mao},
journal= {arXiv preprint arXiv:2310.15797},
year = {2023}
}
备注
Accepted to EMNLP 2023