面向端侧自然语言理解的极致模型压缩
计算与语言
2020-12-02 v1 人工智能
机器学习
摘要
在本文中，我们提出并实验了用于神经网络自然语言理解（NLU）模型极致压缩的技术，使其适合在资源受限设备上执行。我们提出一种任务感知的端到端压缩方法，将词嵌入压缩与NLU任务学习联合进行。我们在一个大规模商业NLU系统上展示了结果，该系统在具有巨大词汇量的多样化意图集上训练。我们的方法优于一系列基线，并以低于3.7%的预测性能下降实现了97.4%的压缩率。我们的分析表明，来自下游任务的信号对于以最小性能下降实现有效压缩十分重要。
引用
@article{arxiv.2012.00124,
title = {Extreme Model Compression for On-device Natural Language Understanding},
author = {Kanthashree Mysore Sathyendra and Samridhi Choudhary and Leah Nicolich-Henkin},
journal= {arXiv preprint arXiv:2012.00124},
year = {2020}
}
备注
Long paper at COLING 2020