深度线性神经网络的统计力学：反向传播核重正化

深度学习在诸多真实任务中的成功引发了人们对其在复杂任务训练与泛化中能力与局限的 intense 探究，但进展有限。本工作中，我们研究深度线性神经网络(DLNNs)中学习的统计力学，其中单个单元的输入-输出函数为线性。尽管单元是线性的，DLNNs 中的学习是非线性的，因此研究其性质可揭示部分非线性深度神经网络(DNNs)的特征。重要的是，我们利用权重空间中的平衡吉布斯分布，精确求解了监督学习后的网络性质。为此，我们引入反向传播核重正化(BPKR)，它允许从网络输出层开始、向后逐步积分网络权重，直至第一层权重被积掉。该过程使我们能评估重要网络性质，如泛化误差、网络宽度与深度的作用、训练集规模的影响，以及权重正则化与学习随机性的效应。BPKR 不假设输入或任务输出的特定统计。此外，通过对各层进行部分积分，BPKR 可计算不同隐藏层中神经表征的性质。我们提出了 BPKR 对带 ReLU 的非线性 DNNs 的扩展。令人惊讶的是，数值模拟表明，尽管存在非线性，我们的理论预测在广泛参数区间内很大程度上被 ReLU 网络所共享。我们的工作是首例对一类 DNNs 中学习的精确统计力学研究，也是首例通过学习权重空间中自由度逐次积分来研究学习的成功理论。