加速任务型对话中的自然语言理解
计算与语言
2020-06-09 v1 机器学习
摘要
任务型对话模型通常利用复杂的神经架构和大规模预训练 Transformer，在流行的自然语言理解基准上取得最先进的性能。然而，这些模型经常拥有超过数千万的参数，使其无法部署在资源效率至关重要的设备上。在本工作中，我们展示了一种通过结构化剪枝压缩的简单卷积模型，在 ATIS 和 Snips 上取得了与 BERT 大体相当的结果，且参数不足 100K。此外，我们在 CPU 上进行了加速实验，观察到我们的多任务模型预测意图和槽位的速度甚至比 DistilBERT 快近 63 倍。
引用
@article{arxiv.2006.03701,
title = {Accelerating Natural Language Understanding in Task-Oriented Dialog},
author = {Ojas Ahuja and Shrey Desai},
journal= {arXiv preprint arXiv:2006.03701},
year = {2020}
}
备注
Accepted to ACL 2020 Workshop on NLP for Conversational AI