基于超完备基的大语言模型量化
机器学习
2024-04-16 v1 计算与语言
摘要
本文中，我们引入了一种基于 Kashin 表示原理的数据量化算法。该方法的核心在于将任意给定向量、矩阵或张量分解为两个因子。第一个因子保持较小的无穷范数，而第二个因子在与正交矩阵相乘时表现出受相似约束的范数。令人惊讶的是，分解后的因子元素集中在几个峰值周围，这使我们能够用相应的质心有效地替换它们以进行量化。我们研究了所提方法的理论性质，并在下一词预测任务和一组文本分类下游任务中严格评估了我们的压缩算法。我们的研究结果表明，Kashin 量化在保证数据压缩的同时，在模型性能上实现了具有竞争力或更优的质量，标志着数据量化领域的重大进展。
引用
@article{arxiv.2404.09737,
title = {Quantization of Large Language Models with an Overdetermined Basis},
author = {Daniil Merkulov and Daria Cherniuk and Alexander Rudikov and Ivan Oseledets and Ekaterina Muravleva and Aleksandr Mikhalev and Boris Kashin},
journal= {arXiv preprint arXiv:2404.09737},
year = {2024}
}