基于层融合的均方误差最优神经网络初始化
机器学习
2020-01-29 v1 信号处理
机器学习
摘要
深度神经网络在一系列分类与推断任务上取得了最先进的性能。然而，随机梯度下降的使用结合底层优化问题的非凸性，使得参数学习对初始化十分敏感。为解决此问题，过去已提出多种依赖随机参数初始化或知识蒸馏的方法。本文中，我们提出 FuseInit，一种通过融合以随机初始化训练的更深网络中的相邻层来初始化更浅网络的新方法。我们给出了相邻全连接-全连接层、卷积-全连接层以及卷积-卷积层进行均方误差(MSE)最优融合的理论结果与高效算法。我们在一系列分类与回归数据集上展示了实验，结果表明更深的神经网络对初始化较不敏感，而更浅的网络若以 FuseInit 初始化则可取得更好的性能（有时与其更深的对应网络相当）。
引用
@article{arxiv.2001.10509,
title = {MSE-Optimal Neural Network Initialization via Layer Fusion},
author = {Ramina Ghods and Andrew S. Lan and Tom Goldstein and Christoph Studer},
journal= {arXiv preprint arXiv:2001.10509},
year = {2020}
}
备注
Extended version of the CISS 2020 paper containing the proof for convolutional layers