前馈神经网络的线性判别初始化
机器学习
2020-08-19 v2 度量几何
机器学习
摘要
受前馈神经网络基本几何结构的启发，我们使用最能区分各个类别的线性判别来初始化神经网络第一层的权重。以这种方式初始化的网络需要更少的训练步骤即可达到相同的训练水平，并且在训练数据上渐近地具有更高的准确率。
引用
@article{arxiv.2007.12782,
title = {Linear discriminant initialization for feed-forward neural networks},
author = {Marissa Masden and Dev Sinha},
journal= {arXiv preprint arXiv:2007.12782},
year = {2020}
}
备注
6 pages, 7 figures. Added comparison to larger randomly initialized networks. Updated tables to better illustrate trends in effect size