求和-乘积网络中矩的线性时间计算
机器学习
2017-11-07 v2 人工智能
摘要
求和-乘积网络（SPNs）的贝叶斯在线算法需要在观测到单个新增实例后更新其后验分布。为此，它们必须计算该分布下模型参数的矩。现有计算此类矩的最佳方法在SPN规模上呈二次方复杂度，尽管对于树结构呈线性。这种不利的复杂度使得贝叶斯在线算法成本高昂，除非是小型或树状结构的SPN。我们提出了一种最优的线性时间算法，即使SPN是一般的定向无环图（DAG）也能工作，这显著拓宽了SPN贝叶斯在线算法的适用性。我们算法设计与分析的三个关键要素为：1). 对图中每条边，我们构造从矩计算问题到SPN中联合推断问题的线性时间归约。2). 利用每个SPN计算多线性多项式的性质，我们给出了一种通过微分进行多项式求值的有效过程，而无需展开可能包含指数级单项式的网络。3). 我们提出一种动态规划方法，将进一步将图中所有边的矩计算从二次降为线性。我们通过将该线性时间算法应用于开发SPN的线性时间假设密度滤波器（ADF）来展示其实用性。
引用
@article{arxiv.1702.04767,
title = {Linear Time Computation of Moments in Sum-Product Networks},
author = {Han Zhao and Geoff Gordon},
journal= {arXiv preprint arXiv:1702.04767},
year = {2017}
}