面向预训练语言模型的零样本锐度感知量化
计算与语言
2023-10-23 v1
摘要
量化是一种有前景的方法，用于降低内存开销并加速推理，尤其是在大型预训练语言模型（PLM）场景中。由于安全和隐私问题而无法访问原始训练数据的情况，催生了对零样本量化的需求。大多数前沿的零样本量化方法主要（1）应用于计算机视觉任务，且（2）忽视了生成对抗学习过程中的过拟合问题，导致次优性能。受此启发，我们提出了一种新颖的零样本锐度感知量化（ZSAQ）框架，用于各类 PLM 的零样本量化。求解 ZSAQ 的关键算法是 SAM-SGA 优化，其旨在通过优化一个极小极大问题来提升量化精度与模型泛化能力。我们从理论上证明了该极小极大优化问题的收敛速率，且此结果可应用于其他非凸-PL 极小极大优化框架。在 11 个任务上的大量实验表明，我们的方法在判别型与生成型 PLM 上均带来了持续且显著的性能提升，即平均得分最高提升 +6.98。此外，我们通过实证验证了我们的方法能有效提升模型泛化能力。
引用
@article{arxiv.2310.13315,
title = {Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models},
author = {Miaoxi Zhu and Qihuang Zhong and Li Shen and Liang Ding and Juhua Liu and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2310.13315},
year = {2023}
}
备注
Accepted to EMNLP2023 (Main). Miaoxi Zhu and Qihuang Zhong contribute equally to this work