求和-乘积网络的贝叶斯学习
机器学习
2019-11-05 v3 机器学习
摘要
求和-乘积网络（SPNs）是灵活的密度估计器，因其吸引人的推断性质而受到显著关注。尽管 SPNs 的参数学习已较为成熟，其结构学习仍有不足：尽管存在大量 SPN 结构学习器，其中多数较为临时，基于直觉而非清晰的学习原理。本文中，我们引入了一个有良好原理的贝叶斯框架用于 SPN 结构学习。首先，我们将问题分解为 i) 布置计算图，以及 ii) 在学习图上的所谓作用域函数。前者相当无问题，类似于神经网络架构验证。后者代表了 SPN 的有效结构，需要遵守 SPN 通常的结构约束，即完备性与可分解性。尽管一般情况下表示和学习作用域函数较为繁琐，本文针对一类重要且广泛使用的 SPN 特例提出了一种自然的参数化方法。这些结构参数被纳入贝叶斯模型，使得结构与参数的同步学习被转化为整体贝叶斯后验推断。在多个实验中，我们的贝叶斯 SPNs 在测试似然上常优于贪婪 SPN 学习器。此外，由于贝叶斯框架可防止过拟合，我们可直接在贝叶斯模型分数上评估超参数，无需单独的验证集，这在低数据情形下尤为有益。贝叶斯 SPNs 可应用于异构领域，并易于扩展至非参数形式。而且，我们的贝叶斯方法是首个能在缺失数据下一致且鲁棒地学习 SPN 结构的方法。
引用
@article{arxiv.1905.10884,
title = {Bayesian Learning of Sum-Product Networks},
author = {Martin Trapp and Robert Peharz and Hong Ge and Franz Pernkopf and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1905.10884},
year = {2019}
}
备注
NeurIPS 2019; See conference page for supplement