Quadapter：面向 GPT-2 量化的适配器
机器学习
2022-12-01 v1
摘要
诸如 GPT-2 之类的 Transformer 语言模型难以量化，因为激活中的离群值导致较大的量化误差。为适配该误差，必须使用量化感知训练，这涉及基于与原模型相同的数据集和训练流程的微调过程。然而，预训练语言模型通常不提供对其数据集和训练流程的访问，迫使我们依赖任意的数据集和流程进行微调。在那种情况下，观察到量化感知训练会使模型过拟合到微调数据上。为实现无过拟合的量化，我们引入量化适配器（Quadapter），一组通过学习以逐通道缩放激活使其利于量化的小参数集合。它保持模型参数不变。通过将我们的方法应用于量化 GPT-2 这一具有挑战性的任务，我们证明其有效防止了过拟合并提升了量化性能。
引用
@article{arxiv.2211.16912,
title = {Quadapter: Adapter for GPT-2 Quantization},
author = {Minseop Park and Jaeseong You and Markus Nagel and Simyung Chang},
journal= {arXiv preprint arXiv:2211.16912},
year = {2022}
}