和积网络的表现效率研究

和积网络（Sum Product Networks, SPNs）是近期发展起来的一类深度生成模型，它使用一种特殊的算术电路来计算其相关的非归一化密度函数。当对这些电路的结构施加某些充分条件，即可分解性和完备性条件（或称“D&C”条件）时，通常对其他深度生成模型而言难以处理的边缘密度和其他有用量，可以通过对网络的一次评估（这一性质被称为“有效性”）来计算。然而，D&C条件对D&C SPN能力的影响尚不十分清楚。在这项工作中，我们分析了D&C条件，揭示了D&C SPN与多线性算术电路之间的各种联系，并探讨了它们作为其规模和深度的函数，能在多大程度上捕获各种分布。我们的贡献之一是证明了一个结果：存在一个相对简单的、具有完全可处理边缘密度的分布，该分布不能被任何深度的D&C SPN有效捕获，但可以被其他各种深度生成模型有效捕获。我们还证明，随着允许的深度每增加一层，D&C SPN可以有效捕获的分布集合的规模就会增长。这种“深度层级”性质已被广泛推测适用于各种深度模型，但此前从未在任何模型上得到证明。我们的其他贡献包括：将D&C条件刻画为一种略微加强的有效性概念的充分必要条件，以及对D&C SPN可以有效执行的计算类型进行的各种状态机刻画。