利用 HLS4ML 将 FPGA 上的深度神经网络压缩至二值与三值精度
机器学习
2020-12-08 v2 信号处理
高能物理 - 实验
摘要
我们在 hls4ml 库中实现了二值和三值神经网络，该库旨在自动将深度神经网络模型转换为带有 FPGA 固件的数字电路。从以浮点精度训练的基准模型出发，我们研究了通过降低网络参数的数值精度至二值或三值来减少网络资源消耗的不同策略。我们讨论了模型精度与资源消耗之间的权衡。此外，我们展示了如何通过保留选定网络组件子集上的全精度来在延迟与精度之间取得平衡。作为示例，我们考虑了两个多分类任务：使用 MNIST 数据集的手写数字识别，以及利用 CERN 大型强子对撞机质子-质子碰撞模拟的喷注识别。二值与三值实现在使用极少得多的 FPGA 资源的同时，具有与更高精度实现相近的性能。
引用
@article{arxiv.2003.06308,
title = {Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML},
author = {Giuseppe Di Guglielmo and Javier Duarte and Philip Harris and Duc Hoang and Sergo Jindariani and Edward Kreinar and Mia Liu and Vladimir Loncar and Jennifer Ngadiuba and Kevin Pedro and Maurizio Pierini and Dylan Rankin and Sheila Sagear and Sioni Summers and Nhan Tran and Zhenbin Wu},
journal= {arXiv preprint arXiv:2003.06308},
year = {2020}
}
备注
Update to MLST journal version