用于训练图神经网络的Bandit采样器
机器学习
2020-06-12 v2 机器学习
摘要
已有多种具有方差缩减的采样算法被提出以加速图卷积网络（GCNs）的训练。然而，由于最优采样分布难以计算，这些采样算法对GCNs是次优的，且不适用于更一般的图神经网络（GNNs）——其消息聚合器包含学习权重而非固定权重，如Graph Attention Networks（GAT）。根本原因在于最优采样分布中所涉及的邻居嵌入或学习权重在训练过程中不断变化且事先未知，仅能在采样时部分观测到，从而使得导出最优方差缩减采样器并非易事。本文将采样方差的优化建模为对抗bandit问题，其中奖励与节点嵌入和学习权重相关且可能持续变化。因此一个好的采样器需要在获取更多邻居的方差信息（探索）的同时优化即时采样方差（利用）。我们从理论上证明了我们的算法渐近地以3倍因子内逼近最优方差。我们在多个数据集上展示了方法的效率与有效性。
引用
@article{arxiv.2006.05806,
title = {Bandit Samplers for Training Graph Neural Networks},
author = {Ziqi Liu and Zhengwei Wu and Zhiqiang Zhang and Jun Zhou and Shuang Yang and Le Song and Yuan Qi},
journal= {arXiv preprint arXiv:2006.05806},
year = {2020}
}