查表MAC：FPGA软逻辑中量化神经网络的可扩展处理
硬件体系结构
2024-03-19 v1
摘要
神经网络量化的最新进展取得了显著成果，三比特网络在复杂任务中达到了最先进的全精度精度。这些成就为通过降低精度计算来加速神经网络提供了宝贵机会。在FPGA上实现可以利用比特级的可重构性，这在传统CPU和GPU上是不可用的。同时，神经网络处理的高数据强度启发了存内计算范式，包括在FPGA平台上。通过将训练模型权重的影响编程为软逻辑中的查表操作，可以避免从存储单元传输权重数据，从而缓解存储瓶颈。然而，以往的方法面临可扩展性差的问题——高逻辑利用率将其限制在精度较低的二元模型的小型网络/子网络上。在本文中，我们引入了查表乘加 (TLMAC) 作为一种框架，用于编译和优化量化神经网络以实现可扩展的基于查表的处理。TLMAC将唯一权重组聚类并映射到基于查表的处理单元，在利用参数冗余的同时实现高度并行计算。此外，提出了进一步的布局布线算法以减少LUT利用率和布线拥塞。我们证明TLMAC显著提高了以往相关工作的可扩展性。我们高效的逻辑映射和高重用度使得具有全精度精度的整个ImageNet规模的量化模型能够在一个商用FPGA上使用基于查表的计算来实现。
引用
@article{arxiv.2403.11414,
title = {Table-Lookup MAC: Scalable Processing of Quantised Neural Networks in FPGA Soft Logic},
author = {Daniel Gerlinghoff and Benjamin Chen Ming Choong and Rick Siow Mong Goh and Weng-Fai Wong and Tao Luo},
journal= {arXiv preprint arXiv:2403.11414},
year = {2024}
}