理解图表示学习中的负采样
机器学习
2020-06-26 v2 机器学习
摘要
近年来图表示学习已被广泛研究。尽管其在为各类网络生成连续嵌入方面具有潜力，针对大规模节点语料推断高质量表示的效率与效果仍具挑战性。采样是实现性能目标的关键点。已有工作通常聚焦于采样正节点对，而负采样策略则未被充分探索。为弥补此差距，我们从目标与风险两个角度系统分析负采样的作用，从理论上证明负采样与正采样在决定优化目标及所得方差方面同等重要。据我们所知，我们首次推导理论并量化负采样分布应与其正采样分布呈正但次线性相关。在该理论指导下，我们提出MCNS，以自对比近似逼近正分布，并通过Metropolis-Hastings加速负采样。我们在涵盖广泛下游图学习任务的5个数据集上评估该方法，包括链接预测、节点分类与个性化推荐，共计19种实验设置。这些相对全面的实验结果证明了其鲁棒性与优越性。
引用
@article{arxiv.2005.09863,
title = {Understanding Negative Sampling in Graph Representation Learning},
author = {Zhen Yang and Ming Ding and Chang Zhou and Hongxia Yang and Jingren Zhou and Jie Tang},
journal= {arXiv preprint arXiv:2005.09863},
year = {2020}
}
备注
KDD 2020