基于AutoML的端到端ASR模型迭代压缩
机器学习
2020-08-11 v1 机器学习
摘要
对设备上自动语音识别（ASR）系统需求的增长引发了开发自动模型压缩技术的 renewed 兴趣。过去的研究表明，基于 AutoML 的低秩分解（LRF）技术应用于端到端编码器-注意力-解码器风格 ASR 模型时，可实现高达 3.7 倍的加速，优于费力的手动秩选择方法。然而，我们表明当前基于 AutoML 的搜索技术仅在一定压缩程度内有效，超过该程度便无法产生具有可接受词错误率（WER）的压缩模型。在本工作中，我们提出一种迭代的基于 AutoML 的 LRF 方法，在不降低 WER 的情况下实现超过 5 倍的压缩，从而推进了 ASR 压缩领域的技术水平（SOTA）。
引用
@article{arxiv.2008.02897,
title = {Iterative Compression of End-to-End ASR Model using AutoML},
author = {Abhinav Mehrotra and Łukasz Dudziak and Jinsu Yeo and Young-yoon Lee and Ravichander Vipperla and Mohamed S. Abdelfattah and Sourav Bhattacharya and Samin Ishtiaq and Alberto Gil C. P. Ramos and SangJeong Lee and Daehyun Kim and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2008.02897},
year = {2020}
}