通过离散搜索探索模型不变性用于超低位量化
机器学习
2025-02-12 v1 人工智能
计算与语言
摘要
大型语言模型因其在广泛应用领域的成功不断增大。这 necessitates 降低内存使用以提高可及性。后训练量化是一种流行技术，可使用更少的位数（例如 4--8 位）表示模型，而无需重新训练。然而，在超低位 setups（例如 2 位）上执行量化仍是一个具有挑战性的任务。本文提出了 InvarExplore，一个统一的框架，系统性地同时探索不同的模型不变性，使我们能够利用每种不变性之间的协同效应。重要的是，InvarExplore 具备一种离散搜索算法，使我们能够探索置换不变性，而这种不变性因无法使用梯度方法进行优化而鲜受关注。结果表明，InvarExplore 与现有领先方法兼容，相对于强大的竞争方法实现了额外的性能提升。
引用
@article{arxiv.2502.06844,
title = {Exploring Model Invariance with Discrete Search for Ultra-Low-Bit Quantization},
author = {Yuqiao Wen and Yanshuai Cao and Lili Mou},
journal= {arXiv preprint arXiv:2502.06844},
year = {2025}
}