关于宽低秩前馈神经网络的初始化
机器学习
2023-02-01 v1 机器学习
摘要
本文分析了宽随机初始化低秩前馈网络的混沌边缘动力学。将最优权重和偏置方差的公式从满秩推广到低秩情形，并证明它们源于乘性缩放。推导了主要的二阶效应，即输入-输出雅可比矩阵方差，并表明其随秩宽比减小而增大。这些结果告知实践者如何在相同 ambient 维度下随机初始化具有更少可学习参数的前馈网络，从而降低相关网络的计算成本和内存限制。
引用
@article{arxiv.2301.13710,
title = {On the Initialisation of Wide Low-Rank Feedforward Neural Networks},
author = {Thiziri Nait Saada and Jared Tanner},
journal= {arXiv preprint arXiv:2301.13710},
year = {2023}
}