深度网络作为逻辑电路：泛化与解释

深度神经网络（DNNs）不仅是黑盒模型，我们也常如此概念化它们。我们缺乏将输入与输出联系起来的机制的合理解释。因此，我们难以以人类可理解的方式分析（1）网络学到了什么，以及（2）网络是否学到了东西。我们提出将 DNN 离散分类映射层次化分解为输入的中间（真/假）分类器的逻辑（与/或）组合。那些无法进一步分解的分类器称为原子，它们是（可解释的）线性分类器。综合起来，我们得到一个以线性分类器为输入、计算与 DNN 相同标签的逻辑电路。该电路在结构上与网络架构不同，且根据权重配置可能需要少得多的参数。在这些情况下，我们同时获得了一种解释与泛化界（针对原始 DNN），将历史上分别研究的两个方向联系起来。与压缩技术不同，我们的表示是。我们通过研究简单受控设定下的 DNN 来论证该视角的效用，其中仅使用组合信息（例如无间隔信息）便获得了更优的泛化界。我们展示了如何在 MNIST 数据集上“打开黑盒”。我们表明学到的内部逻辑计算对应于语义上有意义（未标注）的类别，可用简明英语描述 DNN。我们通过解释、诊断并替换作为 DNN 的逻辑电路的组件，改善了已训练网络的泛化能力。