面向图和群的单元卷积
机器学习
2024-10-10 v1
摘要
具有几何结构的数据在机器学习中十分常见，常源于特定领域中的基本对称性，例如图中的置换不变性和图像中的平移不变性。编码对称性作为归纳偏置的群卷积架构在实际应用中取得了很大成功，但随着深度增加会出现不稳定性，且常难以学习数据中的长程依赖。例如，图神经网络因节点表示的收敛（过平滑）而出现不稳定现象，这种现象在消息传递仅经过几次迭代后就会发生，降低了其在下游任务中的有效性。本文提出并研究单元群卷积，允许构建更深且在训练期间更稳定的网络。本文的主要焦点是图神经网络，我们证明了单元图卷积可严格避免过平滑。我们的实验结果表明，单元图卷积网络在基准数据集上的表现与当前最先进的图神经网络相当。我们对图域的分析辅以对一般单元卷积的研究，分析了其在增强一般群卷积架构稳定性中的作用。
引用
@article{arxiv.2410.05499,
title = {Unitary convolutions for learning on graphs and groups},
author = {Bobak T. Kiani and Lukas Fesser and Melanie Weber},
journal= {arXiv preprint arXiv:2410.05499},
year = {2024}
}