一次压缩，随处部署：基于探索-利用随机自然梯度的高效弹性 BERT 压缩
计算与语言
2021-06-07 v1
摘要
尽管在各类自然语言处理任务上表现优异，BERT 等预训练模型在资源受限设备上的部署面临挑战。多数现有模型压缩方法需跨多样约束重新压缩或微调，以适应不同硬件部署，这实际限制了模型压缩的进一步应用。此外，现有弹性压缩范式[4,27]低效的训练与搜索过程阻碍了向 BERT 压缩的直接迁移。出于在 BERT 上跨多种约束高效推理的必要，我们提出新方法 YOCO-BERT，以实现一次压缩、随处部署。具体而言，我们首先构建含 10^13 种架构的巨大搜索空间，覆盖 BERT 模型中几乎所有配置。然后，提出一种新颖的随机自然梯度优化方法，以引导生成在探索与利用间保持平衡的最优候选架构。给定某一资源约束时，利用轻量分布优化方法获得目标部署的最优网络而无需微调。相比最优算法，YOCO-BERT 提供更紧凑的模型，且在 GLUE 基准上取得 2.1%-4.5% 的平均准确率提升。此外，YOCO-BERT 更高效，例如对 N 个不同设备的训练复杂度为 O(1)。代码见 https://github.com/MAC-AutoML/YOCO-BERT。
引用
@article{arxiv.2106.02435,
title = {You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient},
author = {Shaokun Zhang and Xiawu Zheng and Chenyi Yang and Yuchao Li and Yan Wang and Fei Chao and Mengdi Wang and Shen Li and Jun Yang and Rongrong Ji},
journal= {arXiv preprint arXiv:2106.02435},
year = {2021}
}
备注
12 pages, 3 figures