深度学生机的空间异质学习

具有海量可调参数的深度神经网络（DNN）在很大程度上仍是黑箱。为揭示 DNN 的隐藏层，我们采用称为师生设定的统计力学方法，研究宽度为 $N$、深度为 $L$、由具有 $c$ 个输入的 $NL$ 个感知机组成的 DNN 的有监督学习。我们考虑一组学生机集合，其精确复现由教师机提供的 $M$ 组 $N$ 维输入/输出关系。我们证明该问题在所谓“稠密极限”下可精确求解：$N \gg c \gg 1$ 且 $M \gg 1$，且 $\alpha=M/c$ 固定，使用 (H. Yoshino, (2020)) 发展的副本法。我们还通过简单的贪婪 MC 模拟对模型进行数值研究。模拟揭示 DNN 的学习在网络空间中高度异质：教师机与学生机的构型在更靠近输入/输出边界的层内相关性更强，而中心区域由于过参数化保持弱得多相关性，这与理论预测定性一致。我们从理论和数值上评估了不同深度 $L$ 下 DNN 的泛化误差。值得注意的是，理论和模拟均表明，尽管学生机在中心与教师机仅弱相关，其泛化能力即使在深度极限 $L \gg 1$（系统严重过参数化）下也不消失。我们还通过将隐流形模型（S. Goldt et. al., (2020)）纳入模型来考虑数据有效维度 $D(\leq N)$ 的影响。理论暗示对稠密极限的环路修正会因减小宽度 $N$ 或减小数据有效维度 $D$ 而增强。模拟表明二者均显著改善泛化能力。