基于并行TAP方程与RBM的结构化数据集逆问题
无序系统与神经网络
2023-07-17 v1
摘要
我们提出一种高效算法，用于在存在二值聚类数据集的情况下求解逆问题。我们考虑教师-学生场景中的典型Hopfield模型，该情形出现在检索相中。此问题已通过多种方法广泛分析，如平均场方法或伪似然优化。我们的方法基于使用Thouless-Anderson-Palmer (TAP)方程在并行更新方案下估计后验。与其他方法不同，它允许恢复教师的精确模式，且并行更新使其可应用于大系统规模。我们还观察到近似消息传递(Approximate Message Passing, AMP)方程在正向问题中未重现预期行为，这对用于从信念传播(Belief Propagation, BP)获得时间指标的常规做法提出质疑。我们使用受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)处理同一问题，并讨论两种算法之间的类比。
引用
@article{arxiv.1906.11988,
title = {Inverse problems for structured datasets using parallel TAP equations and RBM},
author = {Aurélien Decelle and Sungmin Hwang and Jacopo Rocchi and Daniele Tantari},
journal= {arXiv preprint arXiv:1906.11988},
year = {2023}
}