两种稀疏胜于一:释放稀疏-稀疏网络的性能收益
机器学习
2021-12-30 v1 人工智能
硬件体系结构
神经与进化计算
摘要
原则上,稀疏神经网络应显著优于传统稠密网络。大脑中的神经元表现出两类稀疏性:它们稀疏互连且稀疏激活。这两类分别称为权值稀疏性与激活稀疏性的稀疏性,当结合时可望将神经网络的计算成本降低两个数量级。尽管有此潜力,当今的神经网络仅利用权值稀疏性带来了有限的性能收益,因为传统计算硬件无法高效处理稀疏网络。本文中我们引入互补稀疏性 (Complementary Sparsity),一种在现有硬件上显著提升双稀疏网络性能的新技术。我们证明可实现运行权值稀疏网络的高性能,并可通过引入激活稀疏性使这些加速倍增。利用互补稀疏性,我们在 FPGA 上执行推理实现了高达 100 倍的吞吐量与能效提升。我们分析了典型商业卷积网络(如 ResNet-50 与 MobileNetV2)多种核的可扩展性与资源权衡。我们的互补稀疏性结果表明,权值加激活稀疏性可成为高效扩展未来 AI 模型的强效组合。
引用
@article{arxiv.2112.13896,
title = {Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks},
author = {Kevin Lee Hunter and Lawrence Spracklen and Subutai Ahmad},
journal= {arXiv preprint arXiv:2112.13896},
year = {2021}
}
备注
32 pages and 20 figures