因子图的等变神经网络
机器学习
2021-09-30 v1
摘要
因子图数据结构中使用的若干索引可以在不改变底层概率分布的情况下进行置换。在因子图上执行推理的算法，理想情况下应对节点的全局索引、因子内的变量顺序以及变量赋值顺序的置换具有等变性或不变性。然而，现有的基于神经网络的推理过程未能利用这种归纳偏置。在本文中，我们精确刻画了因子图的这些同构性质，并提出了两种推理模型：因子等变神经置信传播（FE-NBP）和因子等变图神经网络（FE-GNN）。FE-NBP 是一种推广了置信传播（BP）并尊重因子图上述各项性质的神经网络，而 FE-GNN 是一种富有表达力的 GNN 模型，它放宽了一种同构性质以获得更强的表达力。在实验中，我们在真实和合成数据集上证明，对于边缘推理和 MAP 推理，FE-NBP 和 FE-GNN 共同覆盖了一系列样本复杂度状态：FE-NBP 在小数据集上取得了 SOTA 性能，而 FE-GNN 在大数据集上取得了 SOTA 性能。
引用
@article{arxiv.2109.14218,
title = {Equivariant Neural Network for Factor Graphs},
author = {Fan-Yun Sun and Jonathan Kuck and Hao Tang and Stefano Ermon},
journal= {arXiv preprint arXiv:2109.14218},
year = {2021}
}