通过解决嵌入式FPGA上LSTM单元的吞吐瓶颈以提升能效
硬件体系结构
2023-11-28 v2 人工智能
机器学习
摘要
为处理物联网（IoTs）中的传感器数据，面向一维数据的嵌入式深度学习是一项重要技术。过去，CNN 常被使用，因为它们易于针对如 FPGA 之类的专用嵌入式硬件进行优化。本工作提出一种新颖的 LSTM 单元优化，旨在终端设备上实现高能效推理。以交通速度预测为案例，采用优化 LSTM 单元的朴素 LSTM 模型在 Spartan-7 系列的 FPGA XC7S15 上每秒实现17534次推理，且每次推理仅消耗 3.8 J。其吞吐量至少比现有方法快5.4，能效高1.37。
引用
@article{arxiv.2310.16842,
title = {Enhancing Energy-efficiency by Solving the Throughput Bottleneck of LSTM Cells for Embedded FPGAs},
author = {Chao Qian and Tianheng Ling and Gregor Schiele},
journal= {arXiv preprint arXiv:2310.16842},
year = {2023}
}
备注
12 pages, 7 figures