GPU 增强神经网络 (GeNN) 的可扩展性与优化策略
分布式、并行与集群计算
2014-12-02 v1 神经与进化计算
神经元与认知
摘要
脉冲神经网络的模拟传统上是在高性能超级计算机或大规模集群上完成的。利用神经网络计算算法的并行特性，GeNN (GPU 增强神经网络) 通过基于代码生成的方法，提供了一个在通用 NVIDIA GPU 上运行的模拟环境。GeNN 允许用户通过指定不同阶段的神经元群体、它们的突触连接密度以及单个神经元模型来设计和模拟神经网络。在本报告中，我们描述了如何根据用户定义网络的配置来缩放突触权重，以确保充分的脉冲发放和随后的有效学习。我们还讨论了 GPU 计算特有的优化策略：突触连接的稀疏表示以及基于占用率的块大小确定。
引用
@article{arxiv.1412.0595,
title = {Scalability and Optimization Strategies for GPU Enhanced Neural Networks (GeNN)},
author = {Naresh Balaji and Esin Yavuz and Thomas Nowotny},
journal= {arXiv preprint arXiv:1412.0595},
year = {2014}
}