深度神经网络中大型随机矩阵的特征值分布：正交情形
机器学习
2022-07-13 v2 机器学习
概率论
摘要
本文研究无限宽度极限下未训练深度神经网络的输入-输出 Jacobian 矩阵的奇异值分布。该 Jacobian 为随机矩阵乘积，其中独立的矩形权重矩阵与对角矩阵交替出现，对角矩阵的元素依赖于相邻权重矩阵的对应列。该问题在 \cite{Pe-Co:18} 中针对高斯权重与偏置，以及 Haar 分布正交矩阵权重与高斯偏置的情形进行了讨论。基于自由概率论证，文中声称这些情形下无限宽度（矩阵尺寸）极限下 Jacobian 的奇异值分布与具有特殊随机但与权重无关的对角矩阵的 Jacobian 类似物的分布一致，该情形在随机矩阵理论中广为人知。此断言在 \cite{Pa-Sl:21} 中针对具有 i.i.d.（含高斯）元素的相当一般的权重与偏置类，利用随机矩阵理论的一种技巧版本被严格证明。本文使用另一版本技巧，为 Haar 分布随机权重矩阵与高斯偏置的情形证明该断言。
引用
@article{arxiv.2201.04543,
title = {Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural Networks: Orthogonal Case},
author = {Leonid Pastur},
journal= {arXiv preprint arXiv:2201.04543},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2011.11439