基于无标签数据的无梯度结构化剪枝
机器学习
2023-07-18 v2 人工智能
计算与语言
摘要
大语言模型(LLMs)在许多领域的困难任务上取得了巨大成功，但此类成功伴随着高计算成本与推理延迟。随着开发者和第三方对这些模型进行定制，提供高效推理的需求日益增长。许多工作试图通过剪枝和蒸馏等模型压缩技术降低推理成本。然而，这些技术要么需要带标签数据，要么因需对压缩模型重新训练以恢复准确率而耗时。本文提出一种仅使用无标签数据的无梯度结构化剪枝框架。使用 BERT 和 DistilBERT 在 GLUE 和 SQuAD 基准上的评估说明了所提方法的有效性。仅利用预训练模型权重与无标签数据，在单块 GPU 上数分钟内，即可将原始 FLOP 计数最多减少 40%，且所有考虑任务的准确率损失小于 4%。
引用
@article{arxiv.2303.04185,
title = {Gradient-Free Structured Pruning with Unlabeled Data},
author = {Azade Nova and Hanjun Dai and Dale Schuurmans},
journal= {arXiv preprint arXiv:2303.04185},
year = {2023}
}
备注
Presented in ICML 2023