通过扰动 Bethe 参考点进行成对 MRF 校准

Cyril Furtlehner; Yufei Han; Jean-Marc Lasgouttes; Victorin Martin

通过扰动 Bethe 参考点进行成对 MRF 校准

无序系统与神经网络 2013-02-04 v2 统计力学机器学习机器学习

作者: Cyril Furtlehner , Yufei Han , Jean-Marc Lasgouttes , Victorin Martin

摘要

我们研究了生成成对马尔可夫随机场 (MRF) 选择问题近似解的不同方法。我们主要关注逆 Ising 问题，但也讨论了 somewhat related 的逆高斯问题，因为这两类 MRF 在某些条件下都适用于使用信念传播算法 (BP) 进行推断任务。我们的方法在于选取基于成对互信息最大生成树 (MST) 获得的 Bethe 平均场解（称为\emph{Bethe 参考点}），以进行进一步的扰动过程。我们考虑了遵循这一思想的三种不同方式：第一种是从 Bethe 参考点开始，迭代选择并校准要添加的最优链接；第二种基于在 Bethe 点可以解析计算自然梯度的观察结果；第三种假设无局部场并利用低温展开，开发了一种基于精心选择的基本圈基的对偶圈联合模型。我们确实识别出了一类平面模型子类，我们称之为\emph{Bethe-对偶图模型}，它们可能具有许多圈，但其特征是单连通的对偶因子图，得益于我们建立的对偶权重传播 (DWP) 消息传递过程，其配分函数和线性响应可以分别在 $O(N)$ 和 $O(N^2)$ 次运算中精确计算。当限制在此类模型子类时，逆 Ising 问题是凸的，从而在任何温度下都变得可处理。在各种数据集上进行的实验测试，结合精细化的 $L_0$ 或 $L_1$ 正则化过程，表明这些方法可能是现有方法的具有竞争力且有用的替代方案。

关键词

成对马尔可夫随机场逆 Ising 问题 Bethe 参考点信念传播对偶圈联合模型配分函数线性响应

引用

@article{arxiv.1210.5338,
  title  = {Pairwise MRF Calibration by Perturbation of the Bethe Reference Point},
  author = {Cyril Furtlehner and Yufei Han and Jean-Marc Lasgouttes and Victorin Martin},
  journal= {arXiv preprint arXiv:1210.5338},
  year   = {2013}
}

备注

54 pages, 8 figure. section 5 and refs added in V2

通过扰动 Bethe 参考点进行成对 MRF 校准

摘要

关键词

引用

备注

相关论文