USM RNN-T模型权重的二值化
音频与语音处理
2024-09-25 v2 声音
摘要
大规模通用语音模型（USM）已投入生产使用。然而，随着模型规模的增长，服务成本也随之增加。大型模型的服务成本主要由模型大小决定，因此模型大小缩减是一个重要的研究课题。在这项工作中，我们专注于使用仅权重量化来减小模型大小。我们提出了USM循环神经网络转录器（RNN-T）的权重二值化，并表明其模型大小可以减小15.9倍，而词错误率（WER）相比float32模型仅增加1.9%。这使得它在实际应用中具有吸引力。
引用
@article{arxiv.2406.02887,
title = {USM RNN-T model weights binarization},
author = {Oleg Rybakov and Dmitriy Serdyuk and Chengjian Zheng},
journal= {arXiv preprint arXiv:2406.02887},
year = {2024}
}