利用 GraphBLAS 实现大规模深度神经网络
分布式、并行与集群计算
2018-03-06 v1 机器学习
摘要
深度神经网络（DNN）已成为机器学习的核心工具。DNN 训练和推理过程中的计算主要由描述该 DNN 的权重矩阵上的运算构成。随着 DNN 融入更多阶段以及每个阶段包含更多节点，由于内存限制，这些权重矩阵可能需要被稀疏化。GraphBLAS.org 数学库标准旨在提供对稀疏权重矩阵和输入/输出向量的高性能操作。对于充分稀疏的矩阵，稀疏矩阵库所需的内存显著少于相应的稠密矩阵实现。本文简要描述了 GraphBLAS 的数学基础。此外，将典型 DNN 的方程改写为旨在使用 GraphBLAS 的形式。给出了使用 GraphBLAS C 库初步版本的 DNN 实现。测量了 GraphBLAS 实现相对于标准稠密线性代数库实现的性能。对于不同大小的 DNN 权重矩阵，结果表明，随着权重矩阵变得愈发稀疏，GraphBLAS 稀疏实现的性能优于 BLAS 稠密实现。
引用
@article{arxiv.1708.02937,
title = {Enabling Massive Deep Neural Networks with the GraphBLAS},
author = {Jeremy Kepner and Manoj Kumar and José Moreira and Pratap Pattnaik and Mauricio Serrano and Henry Tufo},
journal= {arXiv preprint arXiv:1708.02937},
year = {2018}
}
备注
10 pages, 7 figures, to appear in the 2017 IEEE High Performance Extreme Computing (HPEC) conference