二值神经网络连续近似中的临界初始化
机器学习
2020-07-28 v2 机器学习
摘要
本文研究了通过连续代理网络训练具有二值（）权重和激活的随机神经网络模型。我们基于将随机神经网络写为马尔可夫链，推导出一种新颖的推导方法，得到新的代理。该推导也涵盖了文献中已有的代理变体。此后，我们从理论上研究了初始化时的代理。利用平均场理论，我们推导了一组标量方程，描述输入信号如何通过随机初始化的网络传播。这些方程揭示了每个代理网络是否存在所谓的临界初始化，即网络可被训练至任意深度。此外，我们从理论上预测并在数值上确认，标准连续网络中常用的权重初始化方案，当应用于随机二值权重的均值时，会产生较差的训练性能。本研究表明，与通常直觉相反，随机二值权重的均值应初始化为接近，以使更深的网络可训练。
引用
@article{arxiv.1902.00177,
title = {Critical initialisation in continuous approximations of binary neural networks},
author = {George Stamatescu and Federica Gerace and Carlo Lucibello and Ian Fuss and Langford B. White},
journal= {arXiv preprint arXiv:1902.00177},
year = {2020}
}