面向设备上自然语言处理的轻量卷积表示
计算与语言
2020-02-06 v1 机器学习
摘要
深度神经网络日益增长的计算与内存复杂度使其难以部署于低资源电子设备（如手机、平板、可穿戴设备）。从业者已开发众多模型压缩方法以应对这些顾虑，但鲜有对输入表示本身进行压缩。本文中，我们提出一种快速、准确且轻量的卷积表示，可替换入任意神经模型，并能显著压缩（高达 32 倍）而性能下降可忽略。此外，在三星 Galaxy S9 上考量以资源为中心的指标（如模型文件大小、延迟、内存占用）时，我们展示了相较循环表示的增益。
引用
@article{arxiv.2002.01535,
title = {Lightweight Convolutional Representations for On-Device Natural Language Processing},
author = {Shrey Desai and Geoffrey Goh and Arun Babu and Ahmed Aly},
journal= {arXiv preprint arXiv:2002.01535},
year = {2020}
}
备注
Accepted to MLSys 2020