论突触随机性在低精度神经网络训练中的作用
无序系统与神经网络
2018-07-04 v2 机器学习
神经与进化计算
机器学习
摘要
神经网络模型中突触权重的随机性与有限精度是学习过程的生物建模与硬件建模的关键方面。本文表明，具有随机二值权重的神经网络模型自然会凸显出指数级稀有的稠密解区域，这些解具备若干理想性质，如鲁棒性与良好的泛化性能，而典型解则是孤立且难以发现的。标准感知机问题的二值解是从一组实值上的简单梯度下降过程获得的，这些实值参数化了二值突触上的概率分布。我们给出了分析与数值结果。还研究了一种旨在训练离散深度神经网络的算法扩展。
引用
@article{arxiv.1710.09825,
title = {On the role of synaptic stochasticity in training low-precision neural networks},
author = {Carlo Baldassi and Federica Gerace and Hilbert J. Kappen and Carlo Lucibello and Luca Saglietti and Enzo Tartaglione and Riccardo Zecchina},
journal= {arXiv preprint arXiv:1710.09825},
year = {2018}
}
备注
7 pages + 14 pages of supplementary material