稀疏度屋顶线：理解稀疏神经网络的硬件极限
计算机视觉与模式识别
2023-11-08 v2 机器学习
摘要
我们引入稀疏度屋顶线（Sparsity Roofline），一种用于评估神经网络中稀疏度的可视化性能模型。稀疏度屋顶线联合建模网络精度、稀疏度与理论推理加速比。我们的方法无需实现和基准测试优化后的核函数，当相应的稠密与稀疏核均被良好优化时，理论加速比即等于实际加速比。我们通过一种预测稀疏网络性能的新颖分析模型实现这一点，并使用多个真实计算机视觉架构在一系列稀疏模式与稀疏程度下剪枝的结果验证所预测的加速比。我们通过两个案例研究展示模型的实用性与易用性：（1）我们展示机器学习研究者如何预测未实现或未优化的块结构稀疏模式的性能；（2）我们展示硬件设计者如何预测新稀疏模式与稀疏数据格式在硬件中的性能影响。在这两种情景下，稀疏度屋顶线均帮助性能专家识别具有最高性能潜力的稀疏区间。
引用
@article{arxiv.2310.00496,
title = {The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks},
author = {Cameron Shinn and Collin McCarthy and Saurav Muralidharan and Muhammad Osama and John D. Owens},
journal= {arXiv preprint arXiv:2310.00496},
year = {2023}
}