面向跨分布 generalize 的不变图转换器

图转换器（Graph Transformers, GTs）在 various graph analytical tasks 中表现出色，但现有方法关注同一分布来源的图数据进行训练和测试，难以在分布迁移下实现泛化。图不变学习旨在捕捉在分布迁移下与标签相关的通用图结构模式，这可能是一种有前景的解决方案，但如何基于图不变学习原则设计注意力机制和位置/结构编码（positional and structural encodings, PSEs） remains 挑战。为此，我们引入图跨分布 generalize 转换器（Graph Out-Of-Distribution generalized Transformer, GOODFormer），旨在通过在三个模块中联合优化，捕捉预测图结构与标签之间的不变关系，以学习通用的图表示。具体而言，我们首先开发了一个基于 GT 的熵导向的不变子图解耦器，以保留注意力函数锐度，分离不变与变异子图。接着，我们设计了一个演化子图位置和结构编码器，以有效且高效地捕捉训练期间动态变化子图的编码信息。最后，我们提出一个不变学习模块，利用子图节点表示和编码推导可迈向未见图的通用图表示。我们也提供了本方法的理论依据。广泛的基准数据集实验表明，在分布迁移下，我们的方法优于当前最先进的基线方法。