字母表：发现自然特征集

深度学习网络利用反向传播算法在大型数据集中发现复杂特征。该算法反复调整网络连接的权重，检查输入层与输出层之间“隐藏”节点的行为，有助于更好地理解神经网络如何创建特征表示。相互构建的实验表明，在层内计算的活动差异可以指导学习。我们使用了一个简单的神经网络，其包含由字母表字母组成的数据集，其中每个字母构成由 0 和 1 组成的 81 个输入节点，以及单个隐藏层和一个输出层。第一个实验解释了该简单神经网络中的隐藏层如何表示输入数据的特征。第二个实验尝试对神经网络进行逆向工程，以寻找字母的自然特征集。随着网络对特征的解释，我们可以理解它如何为给定数据推导自然特征集。这种理解对于深入探究深度生成模型（如玻尔兹曼机）至关重要。深度生成模型是一类无监督深度学习算法。深度生成模型的主要功能是寻找给定数据集的自然特征集。