如何学习与学习什么：机器学习的模式

尽管神经网络取得了巨大成功，但由于缺乏可解释性，其仍如同黑箱。此处我们提出一种新分析方法，即权重通路分析（WPA），以使其透明。我们将纵向连接输入神经元到输出神经元的通路中的权重，或简称权重通路，视为理解神经网络的基本单元，并将神经网络分解为一系列此类权重通路的子网络。提出了子网络的可视化方案，其提供如同射线影像般的纵向视角，使网络内部结构可见。参数调整或结构变化对网络的影响可通过此类射线影像可视化。为子网络建立特征图，以刻画输入样本对各输出神经元影响的增强或抑制。利用 WPA，我们发现神经网络以全息方式存储和利用信息，即子网络以相干结构编码所有训练样本，因此只有研究权重通路才能探索网络中存储的样本。此外，借助 WPA，我们揭示了神经网络的基本学习模式：线性学习模式与非线性学习模式。前者提取线性可分特征，后者提取线性不可分特征。隐藏层神经元自组织为不同类别，以建立学习模式并达成训练目标。学习模式的发现为我们理解机器学习的一些基本问题提供了理论基础，例如学习过程的动力学、线性与非线性神经元的作用，以及网络宽度与深度的作用。