Cold Brew：在邻域不完整或缺失情况下蒸馏图节点表示
机器学习
2022-03-15 v3
摘要
图神经网络（GNNs）在节点分类、回归与推荐任务中取得了最先进的性能。当丰富且高质量的连通关系可用时，GNNs 表现良好。然而，在许多真实世界图中节点度呈幂律分布，其有效性常受损害。该情形的极端案例是节点可能没有任何邻居，称为严格冷启动（SCS）。SCS 迫使预测完全依赖节点自身特征。我们提出 Cold Brew，一种师生蒸馏方法，以解决 GNNs 的 SCS 与噪声邻居挑战。我们还引入特征贡献比（FCR），一种量化归纳式 GNNs 解决 SCS 行为的度量。我们通过实验表明，FCR 解耦了不同图数据组件的贡献，并有助于为 SCS 泛化选择最佳架构。我们进一步在多个公开基准与专有电商数据集上展示了 Cold Brew 的优越性能，其中许多节点具有极少或噪声连接。我们的源代码可在 https://github.com/amazon-research/gnn-tail-generalization 获取。
引用
@article{arxiv.2111.04840,
title = {Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods},
author = {Wenqing Zheng and Edward W Huang and Nikhil Rao and Sumeet Katariya and Zhangyang Wang and Karthik Subbian},
journal= {arXiv preprint arXiv:2111.04840},
year = {2022}
}
备注
Published as a conference paper in ICLR 2022