用于提升神经转导器运行效率的因子化空白阈值化
音频与语音处理
2023-03-07 v2 声音
摘要
我们展示了如何对 RNN-T 的输出分布进行因子化，从而在不损失精度的前提下显著降低设备端 ASR 推理的计算成本与功耗。随着 RNN-T 等神经转导器类型模型在设备端 ASR 中的流行，优化 RNN-T 的运行效率备受关注。先前工作主要集中于优化 RNN-T 的声学编码器与预测网络，而本文将注意力放在联合器上。我们表明，尽管联合器在 RNN-T 中仅占很小一部分，却对整体模型的运行效率有重大影响。我们提出利用 HAT 风格的联合器因子化，以在空白概率超过某一阈值时跳过更昂贵的非空白计算。由于空白概率可极高效计算且 RNN-T 输出以空白为主，我们所提方法带来了 26-30% 的解码加速与 43-53% 的设备端功耗降低，同时不造成精度下降且实现相对简单。
引用
@article{arxiv.2211.00896,
title = {Factorized Blank Thresholding for Improved Runtime Efficiency of Neural Transducers},
author = {Duc Le and Frank Seide and Yuhao Wang and Yang Li and Kjell Schubert and Ozlem Kalinli and Michael L. Seltzer},
journal= {arXiv preprint arXiv:2211.00896},
year = {2023}
}
备注
Accepted for publication at ICASSP 2023