面向自动语音识别的2-bit Conformer量化
音频与语音处理
2023-05-29 v1
摘要
大型语音模型在研究界中迅速受到关注。因此，模型压缩已成为一个重要课题，以便这些模型能够适配内存并以更低的成本提供服务。压缩自动语音识别（ASR）模型的实际方法使用int8或int4权重量化。在本研究中，我们提出开发2-bit ASR模型。我们探讨了在LibriSpeech数据集和大规模训练数据上，对称与非对称量化结合子通道量化与截断所产生的影响。与最先进的4-bit Conformer模型相比，我们在LibriSpeech上获得了无损的2-bit Conformer模型，模型尺寸减小32%。在大规模训练数据下，我们以相对词错误率下降17%的代价，获得了相较于4-bit版本模型尺寸减小超过40%的2-bit Conformer模型。
引用
@article{arxiv.2305.16619,
title = {2-bit Conformer quantization for automatic speech recognition},
author = {Oleg Rybakov and Phoenix Meadowlark and Shaojin Ding and David Qiu and Jian Li and David Rim and Yanzhang He},
journal= {arXiv preprint arXiv:2305.16619},
year = {2023}
}
备注
submitted to Interspeech