在大型SIMD并行计算机GF11上实现反向传播学习
机器学习
2018-01-08 v1 分布式、并行与集群计算
神经与进化计算
摘要
当前的联结主义模拟需要巨大的计算资源。我们描述了一种用于IBM GF11的神经网络模拟器，GF11是一台具有566个处理器、峰值算术性能为11 Gigaflops的实验性SIMD机器。我们给出了反向传播学习算法的并行实现、提高效率的技术、在NetTalk文本转语音基准上的性能测量，以及该模拟器的性能模型。我们的模拟器目前以每秒9亿次连接的速度运行反向传播学习算法，其中每次“连接每秒”包括一次前向传播和一次反向传播。该数字是在仅356个处理器工作时于机器上获得的；若全部566个处理器均运行，我们的模拟将以超过每秒10亿次连接的速度运行。我们得出结论，GF11非常适合于神经网络模拟，并分析了我们对机器的使用以确定哪些特性对高性能最为重要。
引用
@article{arxiv.1801.01554,
title = {An Implementation of Back-Propagation Learning on GF11, a Large SIMD Parallel Computer},
author = {Michael Witbrock and Marco Zagha},
journal= {arXiv preprint arXiv:1801.01554},
year = {2018}
}