在神经网络去中心化训练中引入噪声
机器学习
2018-10-01 v1 机器学习
摘要
已有研究表明，在训练过程中向神经网络权重中注入噪声可使所得模型具有更好的泛化能力。分布式设置下的噪声注入是一种直接的技术，并且代表了改进本地训练模型的一种有前景的途径。我们研究了在去中心化训练过程中向神经网络注入噪声的影响。我们从理论与经验上表明，然而对于线性模型，噪声注入在期望上并无正向效果。但对于非线性神经网络，我们通过经验表明噪声注入显著提升了模型质量，有助于达到接近串行基线的本地模型泛化能力。
引用
@article{arxiv.1809.10678,
title = {Introducing Noise in Decentralized Training of Neural Networks},
author = {Linara Adilova and Nathalie Paul and Peter Schlicht},
journal= {arXiv preprint arXiv:1809.10678},
year = {2018}
}
备注
13 pages