迈向有原则的图变换器

基于k维Weisfeiler-Leman（k-WL）层次结构的图学习架构提供了理论上理解良好的表达能力。然而，这类架构通常无法在现实任务中提供可靠的预测性能，限制了其实用影响。相比之下，基于全局注意力的模型（如图变换器）在实践中表现出强大的性能，但将其表达能力与k-WL层次结构进行比较仍然具有挑战性，特别是因为这些架构依赖于位置或结构编码来实现其表达性和预测性能。为了解决这个问题，我们展示了最近提出的边变换器（一种在节点对而非节点上操作的全局注意力模型）至少具有3-WL表达能力。实验上，我们证明了边变换器在预测性能上超越了其他理论对齐的架构，同时不依赖位置或结构编码。我们的代码可在https://github.com/luis-mueller/towards-principled-gts获取。