图谱同态计数：图学习中的结构编码
机器学习
2025-02-04 v2
摘要
图变换器是流行的神经网络，扩展了在图域上应用的众所周知的Transformer架构。这些架构通过在图节点上应用自注意力机制，并通过使用位置编码(如拉普拉斯位置编码)或结构编码(如随机漫步结构编码)来纳入图结构。编码质量至关重要，因为它们提供了必要的图结构归纳偏置，以条件化模型对图结构的依赖。在本工作中，我们提出了基于计数图同态的"motif结构编码"(MoSE)，作为一种灵活且强大的结构编码框架。理论上，我们比较了MoSE与随机漫步结构编码的表达力，并将两种编码与标准消息传递神经网络的表达力联系起来。实证上，我们观察到MoSE在各种架构中均优于其他著名的位置和结构编码，并在广泛研究的分子属性预测数据集上实现了最先进的性能。
引用
@article{arxiv.2410.18676,
title = {Homomorphism Counts as Structural Encodings for Graph Learning},
author = {Linus Bao and Emily Jin and Michael Bronstein and İsmail İlkan Ceylan and Matthias Lanzinger},
journal= {arXiv preprint arXiv:2410.18676},
year = {2025}
}
备注
Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 202R). Code available at: https://github.com/linusbao/MoSE