面向资源受限 FPGA 的时序 Transformer 模型量化感知训练研究

Tianheng Ling; Chao Qian; Lukas Einhaus; Gregor Schiele

面向资源受限 FPGA 的时序 Transformer 模型量化感知训练研究

机器学习 2023-10-05 v1 人工智能硬件体系结构

作者: Tianheng Ling , Chao Qian , Lukas Einhaus , Gregor Schiele

摘要

本研究探讨了时序 Transformer 模型上的量化感知训练（QAT）。我们提出了一种新颖的自适应量化方案，在 QAT 阶段动态选择对称与非对称方案。我们的方法表明，将量化方案与实际数据分布相匹配，能够在保持可接受精度的同时降低计算开销。此外，我们的方法在应用于真实世界数据和混合精度量化时具有鲁棒性，其中大多数对象被量化为 4 位。我们的发现为模型量化与部署决策提供了参考，同时为推进量化技术奠定了基础。

关键词

量化感知训练时序 Transformer 自适应量化混合精度量化资源受限 FPGA 模型部署

引用

@article{arxiv.2310.02654,
  title  = {A Study of Quantisation-aware Training on Time Series Transformer Models for Resource-constrained FPGAs},
  author = {Tianheng Ling and Chao Qian and Lukas Einhaus and Gregor Schiele},
  journal= {arXiv preprint arXiv:2310.02654},
  year   = {2023}
}

备注

12 pages, 1 figure

面向资源受限 FPGA 的时序 Transformer 模型量化感知训练研究

摘要

关键词

引用

备注

相关论文