分组序列排列旋转：免费优化用于量化的旋转变换

大型语言模型（LLMs）因高昂的计算成本而面临部署挑战，尽管训练后量化（PTQ）提供了一种解决方案，但现有的基于旋转的方法在2比特等极低位宽下表现不佳。我们引入了一种新颖的、无需训练的方法来构建改进的旋转矩阵，以解决当前方法的局限性。关键贡献包括利用具有序列排序的沃尔什-哈达玛变换，与标准哈达玛矩阵相比，该变换通过聚类相似频率分量来减少量化误差，从而显著提升性能。此外，我们提出了一种分组序列排列旋转（GSR），使用具有较小沃尔什块的分块对角矩阵，有效隔离了异常值的影响，并在无需任何训练的情况下实现了与基于优化的方法相当的性能。我们的方法在推理任务和WikiText-2上的困惑度（PPL）得分方面表现出鲁棒的性能。即使应用于现有的学习型旋转技术之上，我们的方法也能提升结果。