神经网络的异步去中心化学习
信号处理
2020-04-13 v1 机器学习
摘要
在这项工作中，我们利用一种称为 ARock 的异步计算框架，在去中心化场景下学习一种称为自定规模估计前馈神经网络（SSFN）的深度神经网络。使用这一称为异步去中心化 SSFN（dSSFN）的算法，我们在一定技术假设下给出了集中式等价解。异步 dSSFN 通过允许单节点激活和单向通信来放松通信瓶颈，从而显著降低通信开销，进而提高学习速度。我们在实验结果中将异步 dSSFN 与传统同步 dSSFN 进行比较，结果表明异步 dSSFN 具有竞争性性能，尤其在通信网络稀疏时。
引用
@article{arxiv.2004.05082,
title = {Asynchronous Decentralized Learning of a Neural Network},
author = {Xinyue Liang and Alireza M. Javid and Mikael Skoglund and Saikat Chatterjee},
journal= {arXiv preprint arXiv:2004.05082},
year = {2020}
}