LightDiC：一种简单高效的大规模有向图表示学习方法
机器学习
2024-02-20 v2 人工智能
社会与信息网络
摘要
大多数现有的图神经网络 (GNN) 仅限于无向图，其捕获的关系信息范围受限，阻碍了它们的表达能力及在现实场景中的部署。与无向图相比，有向图 (digraph) 通过捕获节点间更复杂的关系（如构建交通和金融网络），更符合建模更复杂拓扑系统的需求。虽然已引入一些有向 GNN，但其灵感主要来自深度学习架构，导致冗余的复杂度和计算量，使其无法应用于大规模数据库。为解决这些问题，我们提出了 LightDiC，这是一种基于磁拉普拉斯算子 (magnetic Laplacian) 的可扩展有向图卷积变体。由于拓扑相关的计算仅在离线预处理阶段进行，LightDiC 实现了卓越的可扩展性，使得下游预测可以单独训练而无需产生递归计算成本。理论分析表明，LightDiC 利用有向信息实现基于复数域的消息传递，从有向图信号去噪的角度看，这对应于 Dirichlet 能量优化函数的近端梯度下降过程，从而保证了其表达能力。实验结果表明，LightDiC 在各种下游任务中表现与其他 SOTA 方法相当甚至更优，且具有更少的可学习参数和更高的训练效率。值得注意的是，LightDiC 是首个在最具代表性的大规模数据库 (ogbn-papers100M) 中提供令人满意结果的 DiGNN。
引用
@article{arxiv.2401.11772,
title = {LightDiC: A Simple yet Effective Approach for Large-scale Digraph Representation Learning},
author = {Xunkai Li and Meihao Liao and Zhengyu Wu and Daohan Su and Wentao Zhang and Rong-Hua Li and Guoren Wang},
journal= {arXiv preprint arXiv:2401.11772},
year = {2024}
}
备注
Accepted by VLDB 2024