在富于表达性的权重子空间中初始化 ReLU 网络
机器学习
2021-05-26 v3 无序系统与神经网络
统计力学
摘要
利用信号传播的平均场理论，我们分析了两个信号在具有相关权重的深度 ReLU 网络中向前传播时相关性的演化。在具有不相关权重的深度 ReLU 网络中，信号会变得高度相关。我们表明，具有反相关权重的 ReLU 网络可以避免这一结果，并存在一个信号相关性饱和于小于 1 的混沌相。与这一分析一致，我们发现用反相关权重初始化的网络（在师生设定下）可通过利用混沌相中增强的表达性而训练得更快。将此与先前提出的采用非对称初始化以降低死节点概率的策略相结合，我们提出了一种初始化方案，其训练和学习的速率优于已知最佳的初始化方法。
引用
@article{arxiv.2103.12499,
title = {Initializing ReLU networks in an expressive subspace of weights},
author = {Dayal Singh and G J Sreejith},
journal= {arXiv preprint arXiv:2103.12499},
year = {2021}
}