面向小内存自然语言理解的统计模型压缩
计算与语言
2018-07-20 v1
摘要
在本文中，我们研究了应用于自然语言理解(NLU)模型的统计模型压缩。小内存 NLU 模型对于在硬件受限设备上启用离线系统，以及减少基于云的系统中按需模型加载延迟十分重要。为压缩 NLU 模型，我们提出了两种主要技术：参数量化和完美特征哈希。这些技术是对现有模型剪枝策略（如 L1 正则化）的补充。我们在一个大规模 NLU 系统上进行了实验。结果表明，与原始模型相比，我们的方法在预测性能影响极小的情况下实现了 14 倍的内存使用缩减。
引用
@article{arxiv.1807.07520,
title = {Statistical Model Compression for Small-Footprint Natural Language Understanding},
author = {Grant P. Strimel and Kanthashree Mysore Sathyendra and Stanislav Peshterliev},
journal= {arXiv preprint arXiv:1807.07520},
year = {2018}
}
备注
Interspeech 2018