用最大积置信传播学习噪声或贝叶斯网络
机器学习
2023-02-02 v1
摘要
噪声或（noisy-OR）贝叶斯网络（BN）是一类概率图模型，可表达二元数据中的丰富统计依赖。变分推断（VI）一直是学习具有复杂潜结构的噪声或 BN 的主要方法（Jaakkola & Jordan, 1999; Ji et al., 2020; Buhai et al., 2020）。然而，所提出的 VI 方法要么（a）使用带有标准摊销推断的识别网络，无法诱导“解释 away”；要么（b）假设简单的平均场（MF）后验，易受不良局部最优影响。现有的 MF VI 方法还依次更新 MF 参数，这使其本质缓慢。在本文中，我们提出并行最大积作为学习具有复杂潜结构的噪声或 BN 的替代算法，并推导出一种可扩展到大型数据集的快速随机训练方案。我们在多个 VI 为最先进水平的基准上评估两种方法，表明我们的方法（a）在大型稀疏真实数据集上学习具有层次潜结构的噪声或 BN 时，比 Ji et al. (2020) 取得更好的测试性能；（b）从杂乱合成场景中恢复比 Buhai et al. (2020) 更多的真值参数；且（c）解决了 Lazaro-Gredilla et al. (2021) 的二维盲去卷积问题及其变体——包括二元矩阵分解——而 VI 灾难性失败且慢达两个数量级。
引用
@article{arxiv.2302.00099,
title = {Learning noisy-OR Bayesian Networks with Max-Product Belief Propagation},
author = {Antoine Dedieu and Guangyao Zhou and Dileep George and Miguel Lazaro-Gredilla},
journal= {arXiv preprint arXiv:2302.00099},
year = {2023}
}