NUPES：基于幂指数搜索的非均匀训练后量化

深度神经网络（DNN）因其昂贵的计算需求而一直局限于较大硬件设备部署。随着大语言模型（LLMs）的出现，这一挑战近期达到了新的规模。为降低其内存占用与延迟，一项有前景的技术是量化。它包含将浮点表示转换为低比特定点表示，通常假设映射到规则网格上的均匀映射。该过程在文献中称为均匀量化，然而可能并不合适，因为大多数 DNN 权重与激活值服从钟形分布。在 LLMs 上情况更糟，其权重分布已知存在量大且影响高的离群值。本工作中，我们提出一种针对深度学习模型量化中处理此局限最常用方法的改进，即非均匀量化。NUPES 利用自同构以保留标量乘法。此类变换由幂函数导出。然而，指数参数与权重值的优化仍是一个具挑战性且新颖的问题，先前训练后优化技术仅学习对权重值向上或向下取整以保留预测函数，无法解决该问题。我们通过新范式规避此局限：在整体量化空间上学习新的量化权重。类似地，我们通过消除所有数值不稳定性，实现了幂指数的优化，即训练中量化算子自身的优化。所得预测函数兼容仅整数低比特推理。我们展示了该方法在免数据与数据驱动两种配置下均能达到最先进的压缩率。