旋转运行时光滑：用于准确 INT4 推理的无训练激活平滑器
机器学习
2024-11-12 v2 人工智能
摘要
大型语言模型在参数规模扩大后展现出良好的能力，但其大规模带来了巨大的计算和内存移动成本。量化方法已被用于降低服务成本和延迟。然而，激活中的异常值阻碍了 INT4 权重-激活量化的发展。现有方法将异常值和正常值分离到两个矩阵中，或将激活中的异常值迁移到权重中， suffer 从高延迟或精度下降。基于观察大型语言模型的激活，我们发现异常值可分为通道级异常值和尖峰异常值。本文提出了旋转运行时光滑（Rotated Runtime Smooth, RRS），一种用于量化的即插即用激活平滑器，包含运行时光滑（Runtime Smooth, RS）和旋转操作。运行时光滑（RS）通过在运行时使用通道最大值平滑激活，以消除通道级异常值。旋转操作可缩小尖峰异常值与正常值之间的差距，减轻通道级平滑造成的影响。我们的方法在 LLaMA 和 Qwen 系列模型中均优于最新方法，INT4 推理下的 WikiText-2 困惑度从 57.33 提升至 6.66。
引用
@article{arxiv.2409.20361,
title = {Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference},
author = {Ke Yi and Zengke Liu and Jianwei Zhang and Chengyuan Li and Tong Zhang and Junyang Lin and Jingren Zhou},
journal= {arXiv preprint arXiv:2409.20361},
year = {2024}
}