面向 AIoT 嵌入式 FPGA 平台的整数量化 Transformer 用于嵌入式时间序列预测
机器学习
2026-04-22 v6 人工智能
摘要
本文提出了一种面向 AIoT 系统中嵌入式设备上时间序列预测的 Transformer 硬件加速器设计。它集成了整数量化和量化感知训练，并结合优化硬件设计，实现了 6 位和 4 位量化的 Transformer 模型，达到与相关研究中 8 位量化模型相当的精度。我们在 Xilinx Spartan-7 XC7S15 的完整实现上进行了部署，考察了在嵌入式 IoT 设备上部署 Transformer 模型的可行性。这包括对可实现精度、资源利用、时序、功耗和能耗进行深入分析，以进行设备上的推理。我们的结果表明，虽然可以实现足够的性能，但优化过程并不简单。例如，降低量化位宽并不一定导致延迟或能耗的一致性降低，这凸显了系统性地探索各种优化组合的必要性。与相关研究中的 8 位量化 Transformer 模型相比，我们的 4 位量化 Transformer 模型仅将测试损失增加 0.63%，运行速度最高可提高 132.33 倍，能耗降低 48.19 倍。相关源代码已随附件的 GitHub 存储库提供：https://github.com/tianheng-ling/TinyTransformer4TS。
引用
@article{arxiv.2407.11041,
title = {Integer-only Quantized Transformers for Embedded FPGA-based Time-series Forecasting in AIoT},
author = {Tianheng Ling and Chao Qian and Gregor Schiele},
journal= {arXiv preprint arXiv:2407.11041},
year = {2026}
}
备注
7 pages, 3 figures, 4 tables, accepted by 2024 IEEE Annual Congress on Artificial Intelligence of Things (IEEE AIoT) and got best paper award