范数乘积置信传播:用于近似推理的原对偶消息传递
人工智能
2010-06-29 v4 信息论
math.IT
摘要
在本文中,我们通过统一的消息传递算法架构处理概率推理的两种形式:估计联合分布的边际概率和寻找最可能赋值。我们推广了和积与最大积的置信传播(BP)算法以及树重加权(TRW)和积与最大积算法(TRBP),并引入了一组新的基于“凸自由能”和线性规划(LP)松弛(作为凸自由能的零温)的收敛算法。本文的主要思想源于对现有BP和TRBP算法采取一般视角,同时观察到它们都是从基本优化公式简化而来,其中函数是扩展实值、严格凸但非光滑的,而函数是扩展实值函数(不一定是凸的)。我们使用凸对偶工具提出“原对偶上升”算法,该算法是Bregman逐次投影方案的扩展,旨在处理一般类型的优化。将分数自由能变分原理映射到该框架中,引入了“范数乘积”消息传递。特殊情况包括和积与最大积算法(BP算法)以及TRBP算法。当分数自由能被设置为凸(凸自由能)时,范数乘积在估计边际概率和逼近LP松弛方面全局收敛。我们还引入了范数乘积的另一个分支:“凸最大积”。凸最大积是收敛的(与最大积不同),旨在求解LP松弛。
引用
@article{arxiv.0903.3127,
title = {Norm-Product Belief Propagation: Primal-Dual Message-Passing for Approximate Inference},
author = {Tamir Hazan and Amnon Shashua},
journal= {arXiv preprint arXiv:0903.3127},
year = {2010}
}