人工神经网络中网络并行训练的性能
人工智能
2017-01-19 v1 神经与进化计算
性能
机器学习
摘要
近年来，人工神经网络(ANNs)受到越来越多的关注，其应用跨越包括医学、网络安全和自主交通等关键领域在内的广泛学科。然而，神经网络架构正变得日益复杂，且由于越来越需要从此类模型获得实时结果，使用并行化作为加速网络训练和部署的机制已变得至关重要。在这项工作中，我们提出了一种通过网络并行训练的实现，该实现通过Cannon算法进行矩阵乘法。我们表明，增加进程数量会加速训练，直到进程通信开销变得过高为止；该临界点随网络复杂度而变化。我们还通过经验效率计算表明，所获得的加速比是超线性的。
引用
@article{arxiv.1701.05130,
title = {On the Performance of Network Parallel Training in Artificial Neural Networks},
author = {Ludvig Ericson and Rendani Mbuvha},
journal= {arXiv preprint arXiv:1701.05130},
year = {2017}
}
备注
4 Pages, 4 Figures, 1 Table