均匀表达性过于限制？面向图神经网络的高效表达性
机器学习
2024-12-06 v2 计算复杂性
计算机科学中的逻辑
摘要
均匀表达性保证图神经网络（GNN）能够在查询中表达某种模式，而参数不依赖于输入图的大小。这一属性在实际应用中是可取的，以便输入图大小独立的可训练参数数量。Rectified Linear Unit (ReLU) GNNs 的 GC2（two variable guarded fragment）的一阶逻辑均匀表达性是一个著名结果 [Barcelo 等，2020]。在本文中，我们证明了对于广泛的 Pfaffian 激活函数（包括 sigmoid 和 tanh）的 GNNs，GC2 查询的均匀表达性是不可能的，这回答了 [Grohe，2021] 提出的问题。我们还表明，尽管存在这些限制，许多这些 GNNs 仍然能够以参数在输入图最大度数对数增长的方式有效地表达 GC2 查询。此外，我们演示了对于特定激活函数的选择， achievable log-log 依赖于度数。这表明通过覆盖实际应用中出现的大型图，均匀表达性可以成功地放宽。我们的实验说明我们的理论估计在实际中成立。
引用
@article{arxiv.2410.01910,
title = {Is uniform expressivity too restrictive? Towards efficient expressivity of graph neural networks},
author = {Sammy Khalife and Josué Tonelli-Cueto},
journal= {arXiv preprint arXiv:2410.01910},
year = {2024}
}