Swift and Sure：面向低维知识图谱嵌入的难度感知对比学习
机器学习
2022-05-25 v2 人工智能
摘要
知识图谱嵌入（KGE）在自动知识图谱（KG）补全与知识驱动任务中展现出巨大潜力。然而，近期的 KGE 模型面临训练成本高与存储空间大的问题，从而限制了其在现实应用中的实用性。为应对该挑战，基于对比学习领域的最新发现，我们提出了一种称为难度感知低维嵌入（HaLE）的新型 KGE 训练框架。我们摒弃传统的负采样，设计了一种基于查询采样的新型损失函数，能够平衡对齐（Alignment）与均匀性（Uniformity）两个重要训练目标。此外，我们分析了近期低维双曲模型的难度感知能力，并提出了一种轻量级难度感知激活机制。实验结果表明，在有限的训练时间内，HaLE 能有效提升 KGE 模型在五个常用数据集上的性能与训练速度。仅训练几分钟后，HaLE 训练的模型在低维与高维条件下均与最先进（state-of-the-art）模型具有竞争力。
引用
@article{arxiv.2201.00565,
title = {Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings},
author = {Kai Wang and Yu Liu and Quan Z. Sheng},
journal= {arXiv preprint arXiv:2201.00565},
year = {2022}
}
备注
11 pages, accepted by the Web Conference 2022