中文

置信传播快速收敛到全局最优:超越关联衰减

机器学习 2019-05-27 v1 数据结构与算法 概率论 机器学习

摘要

置信传播是一种用于图模型中概率推理与推断的基本消息传递算法。虽然已知其在树上精确,但在大多数应用中置信传播运行于带环的图上。理解“环状”置信传播的行为一直是机器学习研究者的重大挑战,并且在强假设(隐含底层图模型展现关联衰减)下已知 BP 的积极收敛结果。我们证明,在自然初始化下,只要伊辛模型是\emph{铁磁的}(即相邻节点倾向于对齐),BP 就能在任意图上快速收敛到 Bethe 自由能的全局最优。这成立即使此类模型可展现长程关联并可能具有多个次优 BP 不动点。我们还展示了迭代(朴素)平均场方程的类似结果;或许令人惊讶的是,两个结果都是无维度的,即常数次迭代已能提供对 Bethe/平均场自由能的良好估计。

关键词

引用

@article{arxiv.1905.09992,
  title  = {Fast Convergence of Belief Propagation to Global Optima: Beyond Correlation Decay},
  author = {Frederic Koehler},
  journal= {arXiv preprint arXiv:1905.09992},
  year   = {2019}
}

备注

24 pages; comments welcome!