C4数据集是否适用于剪枝？对LLM剪枝中校准数据的调查
计算与语言
2024-10-11 v1
摘要
网络剪枝已成为降低LLM部署成本的潜在解决方案。然而，现有的LLM剪枝方法普遍依赖C4数据集作为计算剪枝得分的校准数据，未探讨其最优性。在本研究中，我们评估了校准数据选择对LLM剪枝的影响，涵盖广泛的数据集，这些数据集最常用于LLM训练和评估，包括四个相关数据集以及三个下游任务类别，其中包含九个数据集。每个下游数据集都使用情境学习（In-Context Learning, ICL）和链式思考（Chain-of-Thought, CoT）进行提示。除了我们已引人入胜的观察之外，校准数据的选择显著影响被剪枝LLM的性能，我们的研究结果还揭示了几个细微且往往意外的发现，总结如下：（1）C4并非LLM剪枝的最佳选择，即使在常用预训练数据集中也是如此；（2）算术数据集用作校准数据，性能与甚至优于预训练数据集；（3）与预训练数据相比，使用下游数据集进行剪枝并不一定有助于相应的下游任务；（4）ICL对所有数据类别都有显著益处，而CoT仅在特定任务中有用。我们的发现揭示了在LLM剪枝中仔细选择校准数据之重要性，并为在现实世界应用中更高效地部署这些强大模型铺平了道路。我们将在https://github.com/abx393/llm-pruning-calibration-data上发布我们的代码。
引用
@article{arxiv.2410.07461,
title = {Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning},
author = {Abhinav Bandari and Lu Yin and Cheng-Yu Hsieh and Ajay Kumar Jaiswal and Tianlong Chen and Li Shen and Ranjay Krishna and Shiwei Liu},
journal= {arXiv preprint arXiv:2410.07461},
year = {2024}
}
备注
EMNLP 2024