论校准数据在训练后量化与剪枝中的影响

量化与剪枝构成了神经网络压缩的基础，使得大语言模型（LLMs）能够高效推理。近来，多种量化与剪枝技术在训练后设定下展现出卓越性能。它们依赖于校准数据，即一小部分用于生成层激活的无标签样本。然而，此前尚无工作系统性地考察校准数据如何影响模型压缩方法的有效性。本文首次对校准数据之于 LLM 性能的影响开展了广泛的实证研究。我们尝试了多种量化与剪枝方法、数据集、任务和模型。令人惊讶的是，我们发现下游任务性能存在显著波动，这与现有认为其对校准数据具有较高鲁棒性的工作形成反差。最后，我们就 LLM 量化与剪枝中校准数据的有效使用提出了一系列建议。