NSCaching：面向知识图谱嵌入的简洁高效负采样方法
人工智能
2019-01-21 v2 计算与语言
机器学习
摘要
知识图谱（KG）嵌入是数据挖掘研究中的基础问题，具有许多实际应用。其旨在将图中的实体与关系编码为低维向量空间，以供后续算法使用。负采样从训练数据中的非观测三元组中采样负三元组，是KG嵌入中的重要步骤。近来，生成对抗网络（GAN）被引入负采样中。通过采样高分负三元组，这些方法避免了梯度消失问题，从而取得更好性能。然而，使用GAN使原模型更复杂且难以训练，其中必须使用强化学习。本文中，受“高分负三元组重要但稀少”这一观察的启发，我们提出直接用缓存记录它们。然而，如何从缓存中采样和更新缓存是两个重要问题。我们精心设计了解决方案，不仅高效，而且实现了探索与利用间的良好平衡。如此，我们的方法充当了先前基于GA方法的“蒸馏”版本，不浪费训练时间于额外参数来拟合负三元组的完整分布。大量实验表明，我们的方法能在多种KG嵌入模型中获得显著改进，并优于基于GAN的当前最优负采样方法。
引用
@article{arxiv.1812.06410,
title = {NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding},
author = {Yongqi Zhang and Quanming Yao and Yingxia Shao and Lei Chen},
journal= {arXiv preprint arXiv:1812.06410},
year = {2019}
}