先提升再卷积：梯度提升遇见图神经网络
机器学习
2021-04-01 v2 人工智能
社会与信息网络
摘要
图神经网络（GNN）是强大的模型，已成功应用于各种图表示学习任务。而梯度提升决策树（GBDT）在面对异质表格数据时，通常优于其他机器学习方法。但对于具有表格节点特征的图应使用何种方法？以往的 GNN 模型主要关注具有同质稀疏特征的网络，并且如我们所展示的，在异质设定下是次优的。在这项工作中，我们提出了一种新颖的架构，联合训练 GBDT 和 GNN 以兼得两者之长：GBDT 模型处理异质特征，而 GNN 考虑图结构。我们的模型通过允许新树拟合 GNN 的梯度更新而受益于端到端优化。通过与领先的 GBDT 和 GNN 模型进行广泛的实验比较，我们展示了在多种具有表格特征的图上的性能显著提升。代码可用：https://github.com/nd7141/bgnn。
引用
@article{arxiv.2101.08543,
title = {Boost then Convolve: Gradient Boosting Meets Graph Neural Networks},
author = {Sergei Ivanov and Liudmila Prokhorenkova},
journal= {arXiv preprint arXiv:2101.08543},
year = {2021}
}
备注
ICLR 2021: camera-ready