NullaNet Tiny：通过固定功能组合逻辑实现超低延迟 DNN 推理
机器学习
2021-04-13 v1 人工智能
摘要
尽管关于深度神经网络（DNN）高效处理的研究已有大量积累，但对于具有严苛亚微秒级延迟需求的应用，这些模型的超低延迟实现仍是一个未解决且具有挑战性的问题。基于现场可编程门阵列（FPGA）的 DNN 加速器因其性能、灵活性与能效，正作为取代基于图形处理单元/中央处理单元平台的有力竞争者而受到关注。本文提出 NullaNet Tiny，一个跨栈设计与优化框架，用于构建资源与能效高、超低延迟的基于 FPGA 的神经网络加速器。其核心思想是将 DNN 中计算各类滤波器/神经元函数所需的昂贵操作（例如乘累加与批归一化）替换为映射到 FPGA 器件原生查找表（LUT）的布尔逻辑表达式。在分类精度大致相当的情况下，与 Xilinx 的 LogicNets 相比，我们的设计实现了 2.36 更低的延迟与 24.42 更低的 LUT 利用率。
引用
@article{arxiv.2104.05421,
title = {NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function Combinational Logic},
author = {Mahdi Nazemi and Arash Fayyazi and Amirhossein Esmaili and Atharva Khare and Soheil Nazar Shahsavani and Massoud Pedram},
journal= {arXiv preprint arXiv:2104.05421},
year = {2021}
}