学习具有观测或潜变量 FVS 的高斯图模型

高斯图模型 (GGMs) 或 Gauss Markov 随机场广泛应用于许多领域，而建模能力与学习及推断效率之间的权衡一直是一个重要的研究问题。在本文中，我们研究了具有小反馈顶点集 (FVSs) 的 GGMs 族，其中 FVS 是一组节点，移除它们会破坏所有环。使用消息传递算法进行精确推断（如计算边缘分布和配分函数）的复杂度为 $O(k^{2}n)$，其中 k 是 FVS 的大小，n 是节点总数。我们针对两种情况提出了高效的结构学习算法：1) 所有节点均可观测，这在建模社交或航班网络时非常有用，其中 FVS 节点通常对应于少量高度数节点或枢纽，而网络的其余部分由树结构建模。无论最大度数如何，在不知道完整图结构的情况下，如果已知 FVS，我们可以在 $O(kn^2+n^2\log n)$ 时间内精确计算最大似然估计；如果 FVS 未知但大小有界，则可在多项式时间内完成。2) FVS 节点为潜变量，此时结构学习等价于将逆协方差矩阵（精确或近似地）分解为树结构矩阵与低秩矩阵之和。通过将高效推断纳入学习步骤，我们可以获得一种使用交替低秩修正的学习算法，每次迭代的复杂度为 $O(kn^{2}+n^2\log n)$。我们还利用合成数据以及航班延误的真实数据进行了实验，以展示不同大小 FVS 的建模能力。