Kratos：面向细粒度稀疏和混合精度展开式深度神经网络的FPGA基准测试
硬件体系结构
2024-07-09 v1
摘要
FPGA为加速深度神经网络推理提供了一个灵活的平台，特别是对于具有细粒度非结构化稀疏性和混合算术精度的非均匀工作负载。为了利用这些冗余，一种新兴的方法涉及对每个DNN层进行部分或完全展开计算。这样，可以完全跳过参数级和比特级的无效操作，从而节省相关的面积和功耗。然而，展开式实现的可扩展性较差，限制了可在FPGA上展开的DNN的规模。这激发了对新型可重构架构的研究，以提高展开式DNN的效率，同时利用稀疏性和混合精度。为此，我们提出了Kratos：一个专注于展开式DNN原语的FPGA基准测试，具有不同级别的稀疏性和不同的算术精度。我们的分析表明，展开式DNN可以在非常高的频率下运行，达到Arria 10器件的最大频率限制。此外，我们发现通过细粒度稀疏性和低位宽可以实现显著的面积缩减。我们基于这些结果，通过一个架构案例研究来定制用于展开式DNN的FPGA结构，该案例研究表明，在当前FPGA中使用更小的LUT大小时，面积可减少约2倍。这为进一步探索专为稀疏和低精度展开式DNN设计的新型可编程架构铺平了道路。我们的源代码和基准测试可在github.com/abdelfattah-lab/Kratos-benchmark上获取。
引用
@article{arxiv.2407.06033,
title = {Kratos: An FPGA Benchmark for Unrolled DNNs with Fine-Grained Sparsity and Mixed Precision},
author = {Xilai Dai and Yuzong Chen and Mohamed S. Abdelfattah},
journal= {arXiv preprint arXiv:2407.06033},
year = {2024}
}
备注
accepted at FPL 2024