从 LLM 中的旋转对称性中获取自由比特

Jiajun He; Gergely Flamich; José Miguel Hernández-Lobato

从 LLM 中的旋转对称性中获取自由比特

信息论 2024-10-03 v1 机器学习 math.IT

作者: Jiajun He , Gergely Flamich , José Miguel Hernández-Lobato

摘要

当前用于压缩神经网络权重的方法，如分解、剪枝、量化和通道仿真，常常忽视了这些网络内部固有的对称性，从而浪费了比特来编码冗余信息。本文提出了一种基于比特反向编码的格式，用于更高效地存储具有旋转对称性的 Transformer 权重，相对于通常的数组布局，在相同的浮点精度下即可实现更高的压缩率。我们对采用 SliceGPT (Ashkboos 等，2024) 剪枝的大型语言模型 (LLM) 进行评估，在不同模型规模和架构之间实现了 3-5% 的总比特使用率降低，且在一定数值精度范围内不影响模型性能。

关键词

神经网络压缩旋转对称性比特反向编码 Transformer 大语言模型模型剪枝

引用

@article{arxiv.2410.01309,
  title  = {Getting Free Bits Back from Rotational Symmetries in LLMs},
  author = {Jiajun He and Gergely Flamich and José Miguel Hernández-Lobato},
  journal= {arXiv preprint arXiv:2410.01309},
  year   = {2024}
}

备注

14 pages, 3 figures

从 LLM 中的旋转对称性中获取自由比特

摘要

关键词

引用

备注

相关论文