中文

无回声标签式预计算:面向内存高效异构图学习

机器学习 2025-11-17 v1 社会与信息网络

摘要

异构图神经网络(HGNNs)广泛用于深学习处理异构图。典型的端到端 HGNNs 在训练期间需要重复进行消息传递,限制了大规模实际图的效率。基于预计算的 HGNNs 通过在预处理阶段仅进行一次消息传递,将邻居信息收集到规则形状的张量中,从而实现高效的 mini-batch 训练。标签式预计算方法收集邻居标签信息,但因训练标签泄漏问题而受限——即在多跳消息传递期间,节点自身的标签信息会回传到自身,导致回声效应。现有缓解策略在大型图上内存效率低下,或与先进的消息传递方法存在兼容性问题。我们提出无回声标签式预计算(Echoless-LP),通过分区聚焦无回声传递(PFEP)消除训练标签泄漏。PFEP 将目标节点分区,并执行无回声传递,使各分区内的节点仅从其他分区中的邻居收集标签信息,从而避免回声,同时保持内存高效且与任意消息传递方法兼容。我们还引入了非对称分区方案(APS)和 PostAdjust 机制,以解决分区导致的信息损失以及分区间分布迁移问题。在公开数据集上的实验表明,Echoless-LP 在性能和内存效率方面均优于基线方法。

关键词

引用

@article{arxiv.2511.11081,
  title  = {Echoless Label-Based Pre-computation for Memory-Efficient Heterogeneous Graph Learning},
  author = {Jun Hu and Shangheng Chen and Yufei He and Yuan Li and Bryan Hooi and Bingsheng He},
  journal= {arXiv preprint arXiv:2511.11081},
  year   = {2025}
}

备注

Accepted by AAAI 2026