QUARK: 基于非线性运算中常见模式实现的 Transformer 加速器的量化启用电路共享
机器学习
2026-03-26 v2 人工智能
摘要
Transformer-based 模型通过在广泛基准测试中实现最先进性能，已彻底变革了计算机视觉 (CV) 和自然语言处理 (NLP)。然而，非线性运算在模型中所占比重显著，导致推理延迟，为高效硬件加速带来独特挑战。为此，我们提出 QUARK—a 个量化启用 FPGA 加速框架，利用非线性运算中的常见模式实现高效电路共享，从而降低硬件资源需求。QUARK 针对 Transformer-based 模型中的所有非线性运算，通过量身设计的新型电路共享方案实现高性能近似。我们的评估表明，QUARK 显著降低了主流 Transformer 架构中非线性算子的计算开销，实现了相较于 GPU 最高达 1.96 倍的端到端加速。此外，QUARK 在硬件开销方面较先前方法降低超过 50%，同时保持高模型准确率——在极低位量化情况下甚至显著提升准确率。
关键词
引用
@article{arxiv.2511.06767,
title = {QUARK: Quantization-Enabled Circuit Sharing for Transformer Acceleration by Exploiting Common Patterns in Nonlinear Operations},
author = {Zhixiong Zhao and Haomin Li and Fangxin Liu and Yuncheng Lu and Zongwu Wang and Tao Yang and Li Jiang and Haibing Guan},
journal= {arXiv preprint arXiv:2511.06767},
year = {2026}
}
备注
Accepted by ICCAD 2025