结构化剪枝学习紧凑且精确的模型
计算与语言
2022-05-04 v3 机器学习
摘要
神经语言模型规模的不断增长导致对模型压缩的关注日益增加。两种主要方法是剪枝（从预训练模型中逐步移除权重）和蒸馏（训练较小的紧凑模型以匹配较大的模型）。剪枝方法可显著减小模型规模，但很难像蒸馏那样实现大的加速。然而，蒸馏方法需要大量无标签数据且训练成本高昂。在本工作中，我们提出一种特定任务的结构化剪枝方法CoFi（粗粒度与细粒度剪枝），其提供高度可并行的子网络，并在准确率和延迟上匹配蒸馏方法，且无需借助任何无标签数据。我们的核心见解是联合剪枝粗粒度（如层）和细粒度（如注意力头和隐藏单元）模块，以不同粒度的掩码控制每个参数的剪枝决策。我们还设计了一种逐层蒸馏策略，在优化过程中将知识从未剪枝模型迁移到剪枝模型。我们在GLUE和SQuAD数据集上的实验表明，CoFi生成的模型在准确率小幅下降的情况下实现了超过10倍的加速，显示出相较于先前剪枝和蒸馏方法的有效性和高效性。
引用
@article{arxiv.2204.00408,
title = {Structured Pruning Learns Compact and Accurate Models},
author = {Mengzhou Xia and Zexuan Zhong and Danqi Chen},
journal= {arXiv preprint arXiv:2204.00408},
year = {2022}
}
备注
Accepted to ACL 2022; The code and models are available at https://github.com/princeton-nlp/CoFiPruning