缓解语言模型低精度微调中的异常激活值
计算与语言
2024-01-17 v3
摘要
语言模型的低精度微调已成为在各种应用中部署大规模模型的一种经济且节能的方法。然而，这种方法容易受到激活值中异常值存在的影响。激活值中的异常值会对低精度机制下语言模型微调的性能产生负面影响，因为它们影响缩放因子，从而使得表示较小的值更加困难。本文研究了在语言模型的低精度整数微调中缓解异常激活的技术。我们提出的新颖方法使我们能够用8位整数而不是浮点（FP16）值来表示异常激活值。使用整数表示异常值的好处是，它使我们能够使用算子平铺来避免执行16位整数矩阵乘法，从而有效解决这个问题。我们提供了理论分析和支持性实验，以证明我们的方法在提高低精度微调语言模型的鲁棒性和性能方面的有效性。
引用
@article{arxiv.2312.09211,
title = {Mitigating Outlier Activations in Low-Precision Fine-Tuning of Language Models},
author = {Alireza Ghaffari and Justin Yu and Mahsa Ghazvini Nejad and Masoud Asgharian and Boxing Chen and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2312.09211},
year = {2024}
}