基于奇异值分解和 Transformer 的方向感知谱图嵌入学习——SVDformer
机器学习
2025-08-20 v1 人工智能
摘要
有向图广泛用于建模真实系统中的非对称关系。然而，现有的有向图神经网络往往难以同时捕获方向语义和全局结构模式，由于其各向同性聚合机制和局部滤波机制。为此，本文提出了 SVDformer，这是一种融合奇异值分解（SVD）和 Transformer 架构的新型框架，用于方向感知图表示学习。SVDformer 首先通过多头自注意力机制对奇异值嵌入进行细化，适应性地增强关键谱分量，同时抑制高频噪声。这实现了无需谱核的可学习的低通/高通图滤波。此外，SVDformer 将奇异向量作为方向投影基底，将奇异值作为缩放因子，利用注意力权重建模 incoming/outgoing 边模式之间的多尺度相互作用，从而在特征传播过程中显式保留边的方向性。在六个有向图基准测试上的广泛实验表明，SVDformer 在节点分类任务上 consistently 优于最新的图神经网络和方向感知基线，确立了在有向图上学习表示的新范式。
关键词
引用
@article{arxiv.2508.13435,
title = {SVDformer: Direction-Aware Spectral Graph Embedding Learning via SVD and Transformer},
author = {Jiayu Fang and Zhiqi Shao and S T Boris Choy and Junbin Gao},
journal= {arXiv preprint arXiv:2508.13435},
year = {2025}
}