用于高效块稀疏神经网络的拉马努金二部图积
机器学习
2020-07-03 v2 分布式、并行与集群计算
机器学习
摘要
稀疏神经网络被证明能给出与更稠密版本相竞争的准确预测，同时最小化所执行的算术运算次数。然而当前如 GPU 等硬件仅能利用结构化稀疏模式以提升效率。因此稀疏神经网络的运行时间可能并不对应于所需的算术运算。本工作中，我们提出 RBGP（Ramanujan Bipartite Graph Product，拉马努金二部图积）框架，利用图积理论生成结构化的多级块稀疏神经网络。我们还提出使用拉马努金图（Ramanujan graphs）的积，其在给定稀疏度下给出最佳连通性。这本质上确保了：i.) 网络具有结构化块稀疏性，对此存在运行时间高效的算法；ii.) 由于图连通性带来的更强表达能力，模型给出高预测精度；iii.) 图数据结构具有可简洁表示并高效存储于内存中的形式。我们使用框架设计了一种称为 RBGP4 的特定连通模式，其高效利用了 GPU 上可用的内存层次结构。我们在 CIFAR 数据集上使用 VGG19 与 WideResnet-40-4 网络通过图像分类任务实验基准测试了我们的方法，相较非结构化与块稀疏模式分别取得 5-9 倍与 2-5 倍运行时间增益，同时达到同等精度水平。
引用
@article{arxiv.2006.13486,
title = {Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural Networks},
author = {Dharma Teja Vooturi and Girish Varma and Kishore Kothapalli},
journal= {arXiv preprint arXiv:2006.13486},
year = {2020}
}