基于损失引导训练的图学习
机器学习
2020-06-02 v1 机器学习
摘要
经典地,使用随机梯度下降(SGD)训练的机器学习模型旨在最小化每个样本的平均损失,并使用在训练过程中保持静态的训练样本分布。近年来的研究在经验和理论上表明,通过在训练过程中动态调整训练分布,使训练更聚焦于损失较高的样本,可以实现显著的加速。我们在由 DeepWalk 开创的节点嵌入方法这一新领域中探索损失引导训练。这些方法处理使用输入图上的随机游走生成的隐式且庞大的正训练样本集,因此不适用于典型的样本选择方法。我们提出了计算高效的方法,使得在该框架下能够进行损失引导训练。我们在丰富的数据集集合上的实证评估显示,相较于基线静态方法,无论是在总训练量还是总体计算量方面都取得了显著加速。
引用
@article{arxiv.2006.00460,
title = {Graph Learning with Loss-Guided Training},
author = {Eliav Buchnik and Edith Cohen},
journal= {arXiv preprint arXiv:2006.00460},
year = {2020}
}
备注
14 pages, 8 figures, 6 tables. to be published in Grades NDA 2020, Joint Workshop on Graph Data Management Experiences & Systems (GRADES) and Network Data Analytics (NDA)