求和-乘积网络的可视化与理解

求和-乘积网络（SPNs）是近年来引入的深度易处理概率模型，可通过其在易处理时间内精确回答多种推断查询。迄今为止，它们主要被用作黑盒密度估计器，仅通过比较似然分数来评估。本文中，我们探索并利用SPNs学习到的内部表示。我们这样做有三个目的：首先，我们希望更好地理解SPNs的内部工作机制；其次，我们寻求额外的方法来评估单个SPN模型并将其与其他概率模型比较，为实践者提供诊断工具；最后，我们希望在经典表示学习框架下，经验性地评估提取出的表示有多好、有多有意义。为此，我们修正了将其解释为深度神经网络的观点，并提议在不同类型的推断查询下，对其节点激活和网络输出利用多种可视化技术。为将这些模型作为特征提取器研究，我们将一些在图像数据集上以贪婪无监督方式学习到的SPNs插入有监督分类学习任务中。我们通过按节点类型、关联特征抽象层级和作用域过滤节点，从节点激活中提取了多种嵌入类型。在详尽的实证比较中，我们证明它们可与流行特征提取器（如受限玻尔兹曼机）生成的嵌入相竞争。最后，我们研究了由随机概率边缘查询生成的嵌入，以此作为在其他易处理概率模型间进行共同比较的手段，并将实验扩展至树混合模型。