重新思考大型语言模型中的离群点分布：一项深入研究
计算与语言
2025-05-29 v1 人工智能
摘要
研究大型语言模型 中的离群点至关重要，因为它们对 LLM 性能的各个方面都有重大影响，包括量化和压缩。离群点通常会导致相当大的量化误差，从而导致模型性能下降。识别和处理这些离群点可以提高量化过程的准确性和效率，从而在边缘设备或专用硬件上实现更顺畅的部署。最近的研究发现了 LLM 中两种常见类型的离群点：大规模激活和通道级离群点。虽然已经提出了许多量化算法来减轻它们的影响并保持令人满意的准确度，但很少有人深入探讨这些离群点的根本原因。在本文中，我们对这些离群点的形成机制进行了全面调查，并提出了减轻其发生的潜在策略。最终，我们引入了一些有效的方法，以消除大多数大规模激活和通道级离群点，同时对准确度的影响最小。
引用
@article{arxiv.2505.21670,
title = {Rethinking the Outlier Distribution in Large Language Models: An In-depth Study},
author = {Rahul Raman and Khushi Sharma and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2505.21670},
year = {2025}
}