你所需要的只是一个好的初始化
机器学习
2016-02-22 v7
摘要
提出了层序单位方差（LSUV）初始化——一种用于深度网络学习的权重初始化的简单方法。该方法包括两个步骤。首先，用正交矩阵预初始化每个卷积层或内积层的权重。其次，从第一层到最末层，将每层的输出方差归一化为等于一。针对不同激活函数（maxout、ReLU 族、tanh）的实验表明，所提出的初始化能够学习非常深的网络，其（i）产生的网络测试精度优于或等于标准方法，并且（ii）至少与专门为极深网络提出的复杂方案（如 FitNets（Romero 等人（2015））和 Highway（Srivastava 等人（2015）））一样快。在 GoogLeNet、CaffeNet、FitNets 和 Residual nets 上评估性能，并在 MNIST、CIFAR-10/100 和 ImageNet 数据集上取得了最先进的或非常接近最先进的结果。
引用
@article{arxiv.1511.06422,
title = {All you need is a good init},
author = {Dmytro Mishkin and Jiri Matas},
journal= {arXiv preprint arXiv:1511.06422},
year = {2016}
}
备注
Published as a conference paper at ICLR 2016