深度展开：新型深度架构的模型启发

基于模型的方法和深度神经网络一直是机器学习中极为成功的范式。在基于模型的方法中，问题领域知识可以构建到模型的约束中，但通常以推断过程中的困难为代价。相比之下，确定性深度神经网络的构建使得推断变得直接，但其架构是通用的，尚不清楚如何融入知识。这项工作旨在获得这两种方法的优势。为此，我们从基于模型的方法及其相关的推断算法出发，将推断迭代\emph{展开}为深度网络中的层。我们不是优化原始模型，而是在各层之间\emph{解绑}模型参数，以创建更强大的网络。由此产生的架构可以进行判别式训练，以在固定的网络规模内执行准确的推断。我们展示了该框架如何允许我们将传统网络解释为马尔可夫随机场中的平均场推断，并通过使用信念传播作为推断算法来获得新架构。随后，我们展示了其在非负矩阵分解模型中的应用，该模型融入了声源具有可加性这一问题领域知识。对该模型的深度展开产生了一种新型的非负深度神经网络，可以使用乘法反向传播风格的更新算法进行训练。我们提出的语音增强实验表明，尽管使用的参数少得多，但我们的方法与常规神经网络具有竞争力。