嵌入空间中的几何推理

在本研究中，我们证明了图神经网络和 Transformer 能够学习对几何约束进行推理。我们训练它们根据一组约束条件预测离散二维网格中点的空间位置，这些约束条件唯一描述了包含这些点的隐藏图形。两种模型都能够预测点的位置，有趣的是，在推理过程中，它们在嵌入空间中形成了由输入约束描述的隐藏图形。我们的分析表明，两种模型在训练期间恢复了网格结构，使得网格内点对应的嵌入在二维子空间中自我组织，并反映了网格的邻域结构。我们还表明，我们为该任务设计的图神经网络表现明显优于 Transformer，并且也更容易扩展。