基于 FINN 在 FPGA 上量化神经网络的基准测试
机器学习
2021-02-03 v1 人工智能
硬件体系结构
摘要
最先进神经网络在训练和推理上不断增长的成本，促使学界寻找以最小精度损失削减资源消耗的方法。使用更低精度带来的代价是精度损失可忽略不计。虽然训练神经网络可能需要强大的配置，但部署网络必须能在低功耗、低资源硬件架构上实现。针对特定应用，可重构架构已被证明比 GPU 更强大且灵活。本文旨在评估混合精度应用于部署在 FPGA 上的神经网络时的影响。尽管已有若干框架提供以降精度部署神经网络的工具，但极少有框架评估量化的重要性和框架质量。我们使用 Xilinx 实验室的 FINN 和 Brevitas 两个框架，以 2 至 8 位精度及多种并行化配置的权重来评估量化对神经网络的影响。使用更低精度表示并充分训练可获得同等精度。然而，压缩后的网络可更好地并行化，使部署网络的吞吐量提升 62 倍。本工作建立的基准测试已发布于公共仓库（https://github.com/QDucasse/nn benchmark）。
引用
@article{arxiv.2102.01341,
title = {Benchmarking Quantized Neural Networks on FPGAs with FINN},
author = {Quentin Ducasse and Pascal Cotret and Loïc Lagadec and Robert Stewart},
journal= {arXiv preprint arXiv:2102.01341},
year = {2021}
}
备注
Presented at DATE Friday Workshop on System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA 2021) (arXiv:2102.00818)