深度学习中层次化模式的涌现

大规模深度神经网络消耗昂贵的训练成本，但训练得到的构成网络的权重矩阵可解释性较差。在此，我们提出一种模式分解学习，可将权重矩阵解释为层次化的潜模式。这些模式类似于物理研究中记忆网络的模式，但模式的最少数量仅随网络宽度对数增长，并在宽度进一步增大时甚至变为常数。模式分解学习不仅大幅节省训练成本，还能用主导模式解释网络性能，展现出惊人的分段幂律行为。这些模式指定了跨越网络层次的渐进紧致潜空间，与标准训练相比形成了更解耦的子空间。我们的模式分解学习还在解析在线学习设定中进行了研究，揭示了隐节点连续专门化的多阶段学习动态。因此，所提出的模式分解学习指向了一条廉价且可解释的深度学习的神奇之路。