广义图传播的Decurve Flow解析
机器学习
2024-02-14 v1 微分几何
摘要
本研究针对传统图学习中核心的消息传递分析局限性,提出“广义传播”(generalized propagation)概念,适用于有向加权图。其重要性体现在两个方面:\textbf{首先}, 我们提出“广义传播神经网络”(\textbf{GPNNs}),一个统一大多数基于传播的图神经网络的框架。通过生成带权有向传播图,GPNN利用邻接函数和连接函数,为各种图模型中的注意力机制提供了更深入的洞见。我们通过实验探讨了设计空间中的权衡,并通过理论分析强调邻接函数对模型表达性的关键作用。\textbf{其次}, 我们提出“连续统一黎西曲率”(\textbf{CURC}),这是对经典“奥利维尔-黎西曲率”(\textit{Ollivier-Ricci Curvature})的扩展,适用于有向加权图。理论上,我们证明CURC具备连续性、尺度不变性以及与Dirichlet等面积不变常量下界的联系,从而为GPNN的瓶颈分析提供了依据。我们包含了对所学习传播模式在数据集中的初步探索——这是该领域首次。我们观察到一种引人注目的“\textit{\textbf{decurve flow}}”——即在具有可学习传播的模型训练期间发生的曲率减弱,揭示了传播随时间的演变,并与过平滑及瓶颈权衡关系更深入地相连。
引用
@article{arxiv.2402.08480,
title = {Revealing Decurve Flows for Generalized Graph Propagation},
author = {Chen Lin and Liheng Ma and Yiyang Chen and Wanli Ouyang and Michael M. Bronstein and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2402.08480},
year = {2024}
}
备注
15 pages, 4 figures