在随机初始化固定权重的神经网络中训练高效连接
机器学习
2020-11-18 v2 神经与进化计算
机器学习
摘要
我们提出了一些新颖、直接的方法，用于在随机初始化的神经网络中训练连接图而不训练权重。这些方法不使用定义截断阈值的超参数，因此消除了迭代搜索此类超参数最优值的需求。我们能在与训练所有权重相似的计算代价下，达到相似或更高的性能。除开关连接外，我们引入了一种通过翻转权重符号来训练网络的新方式。若试图最小化更改的连接数，通过更改少于总量10%的连接，已可能达到标准训练所实现准确率的90%以上。即便权重幅值恒定，甚至当权重取自高度非对称分布时，我们也得到良好结果。这些结果阐明了神经网络的过参数化及其如何被缩减至有效规模。
引用
@article{arxiv.2006.16627,
title = {Training highly effective connectivities within neural networks with randomly initialized, fixed weights},
author = {Cristian Ivan and Razvan Florian},
journal= {arXiv preprint arXiv:2006.16627},
year = {2020}
}
备注
14 pages, 13 figures