拉普拉斯规范化：符号与基不变谱嵌入的极简方法
机器学习
2024-01-12 v2
摘要
谱嵌入是一种强大的图嵌入技术，因其在图 Transformer 上的有效性近来备受关注。然而从理论角度看，谱嵌入的通用表达力以丧失图的两个重要不变性——符号不变性与基不变性为代价，这也限制了其在图数据上的有效性。为补救该问题，许多已有方法发展了代价高昂的新不变性学习途径并受困于高计算复杂度。本工作中，我们探索一种极简方法，通过直接为特征向量寻找规范方向来解决歧义问题，称为拉普拉斯规范化（LC）。作为一种纯预处理方法，LC 轻量且可应用于任意现有 GNN。我们对该方法从理论到算法进行了透彻研究，并发现了一种高效算法——极大轴投影（MAP），其同时适用于符号与基不变性，并成功规范化了超过 90% 的特征向量。在 ZINC、MOLTOX21 与 MOLPCBA 等真实基准数据集上的实验表明，MAP 在带来极小计算开销的同时持续优于现有方法。代码见 https://github.com/PKU-ML/LaplacianCanonization。
引用
@article{arxiv.2310.18716,
title = {Laplacian Canonization: A Minimalist Approach to Sign and Basis Invariant Spectral Embedding},
author = {Jiangyan Ma and Yifei Wang and Yisen Wang},
journal= {arXiv preprint arXiv:2310.18716},
year = {2024}
}
备注
In Thirty-seventh Conference on Neural Information Processing Systems (2023)