图神经网络中基于约束的传播方法
机器学习
2021-09-02 v6 机器学习
摘要
深度学习技术的流行重新激发了人们对能够处理可用图表示的复杂结构的神经架构的兴趣，其灵感来自图神经网络（GNNs）。我们将注意力集中在 Scarselli 等人 2009 年最初提出的 GNN 模型上，该模型通过迭代扩散过程对图节点的状态进行编码，在学习阶段必须每个 epoch 计算一次，直到达到可学习状态转移函数的不动点，在相邻节点间传播信息。我们提出了一种基于拉格朗日框架下约束优化的 GNN 学习新方法。转移函数和节点状态的学习是一个联合过程的结果，其中状态收敛过程由约束满足机制隐式表达，避免了迭代的按 epoch 过程和网络展开。我们的计算结构在由权重、节点状态变量和拉格朗日乘子组成的伴随空间中搜索拉格朗日函数的鞍点。该过程通过多层约束进一步增强，加速了扩散过程。实验分析表明，所提方法在多个基准上优于流行的模型。
引用
@article{arxiv.2005.02392,
title = {Deep Constraint-based Propagation in Graph Neural Networks},
author = {Matteo Tiezzi and Giuseppe Marra and Stefano Melacci and Marco Maggini},
journal= {arXiv preprint arXiv:2005.02392},
year = {2021}
}
备注
Published in: IEEE Transactions on Pattern Analysis and Machine Intelligence. arXiv admin note: text overlap with arXiv:2002.07684