缩减神经网络训练的参数空间
机器学习
2020-01-30 v3 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
对于具有修正线性单元(ReLU)或二值激活函数的神经网络(NNs)，我们表明其训练可在缩减的参数空间中完成。具体而言，每个神经元中的权重可在单位球面上训练，而非整个空间，阈值可在有界区间内训练，而非实直线。我们表明缩减参数空间中的NNs与具有全空间参数的标准NNs在数学上等价。缩减的参数空间将促进网络训练的优化过程，因为搜索空间变得（更）小。我们通过数值例子展示了改进的训练性能。
引用
@article{arxiv.1805.08340,
title = {Reducing Parameter Space for Neural Network Training},
author = {Tong Qin and Ling Zhou and Dongbin Xiu},
journal= {arXiv preprint arXiv:1805.08340},
year = {2020}
}
备注
17 pages, 8 figures