SeVeDo：通过层次化组量化与SVD引导混合精度的异构Transformer低比特推理加速器
机器学习
2026-01-23 v2 硬件体系结构
摘要
低比特量化是一种通过降低计算和内存开销来实现高效Transformer推理的有前景技术。然而，激进的位宽缩减仍然具有挑战性，因为激活异常值会导致精度下降。现有方法如异常值处理和组量化虽然实现了高精度，但带来了大量的能量消耗。为了解决这一问题，我们提出了SeVeDo，一种基于SVD的能效异构加速器，它将异常值敏感组件结构上分离到高精度低秩路径，而其余计算在低比特残差数据路径上以组量化方式执行。为了进一步提升效率，层次化组量化（HGQ）结合粗粒度浮点缩放与细粒度移位，有效降低了反量化成本。此外，SVD引导的混合精度（SVD-MP）通过低秩分解识别精度敏感组件并静态分配更高的位宽，从而最小化浮点操作成本。实验结果表明，SeVeDo实现了13.8 TOPS/W的峰值能效，超越了传统设计，在ViT-Base上为12.7 TOPS/W，在Llama2-7B上为13.4 TOPS/W。
引用
@article{arxiv.2512.12930,
title = {SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision},
author = {Yuseon Choi and Sangjin Kim and Jungjun Oh and Byeongcheol Kim and Hoi-Jun Yoo},
journal= {arXiv preprint arXiv:2512.12930},
year = {2026}
}
备注
IEEE International Symposium on Circuits and Systems (ISCAS) 2026