StreamBrain：面向 CPU、GPU 与 FPGA 上类脑神经网络的高性能计算框架
分布式、并行与集群计算
2021-07-05 v1 机器学习
神经与进化计算
摘要
基于反向传播的现代深度学习方法已广受欢迎，并被用于多个领域与应用场景。与此同时，还存在其他——较少为人所知——具有成熟坚实理论基础的机器学习算法，其性能尚待探索。类脑贝叶斯置信传播神经网络（BCPNN）即为一例。本文中，我们介绍 StreamBrain——一个允许基于 BCPNN 的神经网络在实际高性能计算系统中部署的框架。StreamBrain 是一种领域特定语言（DSL），概念上类似于现有机器学习（ML）框架，并支持 CPU、GPU 乃至 FPGA 后端。我们经实证表明 StreamBrain 可在数秒内训练著名的 ML 基准数据集 MNIST，且我们首次在 STL-10 规模网络上演示 BCPNN。我们还展示 StreamBrain 如何用于自定义浮点格式训练，并说明在 FPGA 上使用不同 bfloat 变体对 BCPNN 的影响。
引用
@article{arxiv.2106.05373,
title = {StreamBrain: An HPC Framework for Brain-like Neural Networks on CPUs, GPUs and FPGAs},
author = {Artur Podobas and Martin Svedin and Steven W. D. Chien and Ivy B. Peng and Naresh Balaji Ravichandran and Pawel Herman and Anders Lansner and Stefano Markidis},
journal= {arXiv preprint arXiv:2106.05373},
year = {2021}
}
备注
Accepted for publication at the International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies (HEART 2021)