在 LowBit GEMM 残差计算中使用 RSVD 的一种方法
数学软件
2024-09-30 v1 机器学习
摘要
近年来硬件技术的进步为低精度应用带来了许多可能性。然而，使用低精度会引入显著的计算误差，这对维持计算精度构成了相当大的挑战。我们提出了低秩残差量化矩阵乘法（LRQMM）方法，该方法在密集低精度量化矩阵乘法的残差补偿中引入了低秩近似。它仅需 BLAS-2 级别的额外时间开销，即可带来数倍的精度提升。此外，LRQMM 是一种完全无数据的量化方法，不需要额外数据进行预训练。并且它仅作用于低精度 GEMM 算子，易于与其他方法结合。通过实验表明，LRQMM 能将直接量化矩阵乘法的误差降低 1 至 2 个数量级，而在处理较大矩阵尺寸时，计算速度仅降低约 20\%。在深度学习网络中，LRQMM-4bit 在 Resnet-50 上实现了 61.8\% 的 ImageNet Top-1 准确率，而直接量化的准确率仅为 8.3\%。
关键词
引用
@article{arxiv.2409.18772,
title = {A method of using RSVD in residual calculation of LowBit GEMM},
author = {Hongyaoxing Gu},
journal= {arXiv preprint arXiv:2409.18772},
year = {2024}
}