通过分层掩码框架统一并提升图转换器

图转换器 (GTs) 因其能够建模多样化节点相互作用而成为图表示学习的强大范式。然而，现有的 GTs 常常依赖针对特定相互作用的复杂架构设计，这限制了其灵活性。为此，我们提出了统一的分层掩码框架，揭示了模型架构与注意力掩码构造之间的内在等价性。这一框架通过精心设计的注意力掩码捕获多样化的相互作用，实现一致的建模范式。该框架下的理论分析表明，正确分类的概率与感受野大小和标签一致性正相关，导致一个基本设计原则：有效的注意力掩码应确保足够大的感受野和高水平的标签一致性。虽然没有单个现有掩码在所有场景下都满足这一原则，但我们的分析表明，分层掩码在不同方面提供互补优势，这促使其有效的集成。随后，我们引入了 M3Dphormer，这是一个基于 Mixture-of-Experts 的图转换器，集成多级掩码和双注意力计算。M3Dphormer 包含三个基于理论的分层掩码，并采用双级专家路由机制来自适应地整合多级相互作用信息。为确保可扩展性，我们进一步引入双注意力计算方案，根据局部掩码稀疏性动态切换密集模式和稀疏模式。广泛的实验表明，M3Dphormer 在多个基准测试上实现了最先进的性能，验证了我们统一框架和模型设计的有效性。