IGLU：基于惰性更新的高效 GCN 训练
机器学习
2022-04-05 v2
摘要
使用标准 SGD 技术训练多层图卷积网络 (GCN) 的扩展性较差，因为每次下降步骤最终都会更新图中很大一部分节点的嵌入。近期试图解决此问题的方法对图进行二次采样，虽然减少了计算量，但引入了额外的方差，且可能导致次优性能。本文开发了 IGLU 方法，在各个 GCN 层缓存中间计算结果，从而实现惰性更新，显著降低了下降的计算成本。IGLU 在梯度中引入了有界偏差，但在目标函数平滑性等标准假设下，仍能收敛到一阶鞍点。基准实验表明，尽管 IGLU 所需的计算量最高减少 88%，但其准确率最高可提升 1.2%。
引用
@article{arxiv.2109.13995,
title = {IGLU: Efficient GCN Training via Lazy Updates},
author = {S Deepak Narayanan and Aditya Sinha and Prateek Jain and Purushottam Kar and Sundararajan Sellamanickam},
journal= {arXiv preprint arXiv:2109.13995},
year = {2022}
}
备注
Published as Conference Paper at ICLR 2022, 36 Pages