置信传播中的精度-内存权衡与相变
信息论
2019-05-27 v1 math.IT
统计理论
统计计算
机器学习
统计理论
摘要
对置信传播（Belief Propagation）及其他用于{\em 重构问题}的算法的分析，在图上的推断中的社区检测、生物信息学中的系统发育重构以及统计物理中的空腔方法中起着关键作用。我们证明了Evans、Kenyon、Peres和Schulman（2000）的一个猜想，该猜想指出任何有界内存消息传递算法在重构问题上统计上远弱于置信传播。更形式化地，在具有二进制对称信道的树上重构问题的任何有界内存递归算法，其相变严格低于置信传播阈值，也即Kesten-Stigum界。该证明以新颖方式结合了来自递归重构、信息论和最优传输的工具，并建立了BP及其他消息传递算法在临界阈值附近的渐近正态性结果。
引用
@article{arxiv.1905.10031,
title = {Accuracy-Memory Tradeoffs and Phase Transitions in Belief Propagation},
author = {Vishesh Jain and Frederic Koehler and Jingbo Liu and Elchanan Mossel},
journal= {arXiv preprint arXiv:1905.10031},
year = {2019}
}
备注
To be presented on COLT 2019