GoQuant：面向乘法-free 幂二级 Transformer 量化的几何正交残差投影
机器学习
2026-05-29 v3 人工智能
摘要
在边缘设备上部署大型语言模型 (LLM) 和视觉转换器 (ViT) 受到内存限制的严峻挑战，以及由稠密乘-累加 (MAC) 数组引入的关键时序瓶颈。 在超低位宽 regime 下， logarithm 型 Power-of-Two (PoT) 量化通过替换 MAC 操作为位移，提供了一种硬件高效的替代方案。然而，非均匀指数晶格在本质上受限于 \textbf{低角分辨率 regime}，该结构缺陷在亚 4 位阈值处尤为突出，导致高维特征流形显著退化。为解决此几何限制，我们提出了几何正交残差投影量化 (GoQuant)，一个算法-硬件协同设计框架。通过将量化形式化为双基几何投影，GoQuant 可通过严格的移位-加法运算自适应合成更高分辨率的残差晶格。此外，其解析求解器为计算密集型梯度优化提供了实用替代方案，将 LLaMA-2-7B 的完整模型校准时间缩短至约 15 分钟。广泛的评估表明 GoQuant 在跨模态领域具有广泛适用性，并具备硬件效率。 在 3 位 (W3/A16) 约束下，它在 LLaMA-2-7B 上实现了 6.10 的 perplexity，与基于 MAC 的基线方法如 AWQ 相当，无需依赖非对称缩放，同时在 4 位场景下保持竞争的准确率。 在硅器件层面，28nm 节点标准单元 RTL 综合表明，GoQuant 有效缓解了稠密乘法树的时序瓶颈。通过展平组合逻辑深度，我们的并行移位-加法数据通路将关键路径延迟降低至 0.35 ns。
引用
@article{arxiv.2605.26092,
title = {GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization},
author = {Maoyang Xiang and Bo Wang and Tao Luo},
journal= {arXiv preprint arXiv:2605.26092},
year = {2026}
}