桥接输入特征空间以迈向图基础模型

与视觉和语言领域不同，图学习缺乏共享的输入空间，因为不同图数据集的输入特征不仅在语义上不同，而且在值范围和维度上也有所不同。这种不对齐阻碍了图模型跨数据集的泛化，限制了它们作为基础模型的使用。在本工作中，我们提出了 ALL-IN，一种简单且具有理论依据的方法，能够跨具有不同输入特征的数据集实现可迁移性。我们的方法将节点特征投影到一个共享的随机空间中，并通过基于协方差的统计量构建表示，从而消除对原始特征空间的依赖。我们证明了所计算的节点协方差算子和由此产生的节点表示在分布上对输入特征的排列具有不变性。我们进一步证明了期望算子对输入特征的一般正交变换具有不变性。从经验上看，ALL-IN 在具有新输入特征的未见数据集上，跨多样的节点级和图级任务均取得了强劲的性能，而无需更改架构或重新训练。这些结果为输入无关的可迁移图模型指明了一个有前景的方向。