关于多重集和图神经网络的 Hölder 稳定性

大量的研究工作致力于刻画和构建最大分离的多重集和图神经网络。然而，最近的实证证据表明，分离的概念本身并不能捕捉到几个有趣的现象。一方面，这种分离的质量可能非常弱，以至于在固定有限精度下，“可分离”对象的嵌入甚至可能被认为是相同的。另一方面，理论上无法分离的架构，当网络足够宽时，却以某种方式实现了分离。在这项工作中，我们通过提出一种新颖的基于 Lipschitz 和 Hölder 稳定性对参数函数进行改编的成对分离质量分析框架，来解决这两个问题。我们提出的框架，命名为“期望 Hölder”，允许进行分离质量分析，而不必将分析限制在能够同时分离所有输入空间的嵌入上。我们证明了常见的基于求和的模型是期望下-Hölder 的，其指数随网络深度迅速衰减。我们的分析得出了图的对抗性示例，这些图可以通过三次 1-WL 迭代分离，但在实践中无法被标准的最大能力消息传递神经网络（MPNN）分离。为了解决这个问题，我们提出了两种具有改进分离质量的新型 MPNN，其中一种在期望上是下-Lipschitz 的。我们展示了这些 MPNN 可以轻松分类我们的对抗性示例，并在标准图学习任务上与标准 MPNN 相比表现良好。