关于图的表达性位置编码的稳定性
机器学习
2024-06-11 v3 人工智能
摘要
为图设计有效的位置编码是构建强大的图 Transformer 与增强消息传递图神经网络的关键。尽管使用 Laplacian 特征向量作为位置编码已十分普遍,但其面临两个根本挑战:(1) \emph{非唯一性}:同一 Laplacian 矩阵有许多不同的特征分解;(2) \emph{不稳定性}:对 Laplacian 矩阵的微小扰动可能导致完全不同的特征空间,从而引起位置编码的不可预测变化。尽管已有诸多尝试解决非唯一性,多数方法忽视了稳定性,导致在未见过的图结构上泛化能力差。我们将不稳定性的根源归结为特征空间的“硬划分”。因此,我们提出稳定且具表达性的位置编码(SPE),一种处理特征向量的架构,利用特征值对特征空间进行“软划分”。SPE 是首个同时满足以下条件的架构:(1) 可证明稳定;(2) 在尊重特征向量所有对称性的前提下,对基不变函数具有普遍表达性。除保证稳定性外,我们证明 SPE 至少与现有方法同样具表达性,且极擅长计数图结构。最后,我们在分子性质预测与分布外泛化任务上评估了方法的有效性,发现相比现有位置编码方法泛化性能更优。我们的代码见 \url{https://github.com/Graph-COM/SPE}。
引用
@article{arxiv.2310.02579,
title = {On the Stability of Expressive Positional Encodings for Graphs},
author = {Yinan Huang and William Lu and Joshua Robinson and Yu Yang and Muhan Zhang and Stefanie Jegelka and Pan Li},
journal= {arXiv preprint arXiv:2310.02579},
year = {2024}
}
备注
ICLR 2024