实用 Conformer：面向端侧与云端 ASR 优化 Conformer 的规模、速度与浮点运算量
计算与语言
2023-04-04 v1 声音
音频与语音处理
摘要
Conformer 模型维持着大量内部状态，其中绝大多数与自注意力层相关。在内存带宽受限的情况下，每一步推理都从内存中读取这些状态会拖慢推理速度。本文设计了一种优化后的 conformer，其规模足以满足端侧限制，并在 TPU 上实现快速推理。我们探索了多种提升执行速度的思路，包括用仅卷积块替换较低的 conformer 块、策略性地缩减架构规模，以及采用 RNNAttention-Performer。我们优化的 conformer 可便捷地嵌入级联编码器设置中，使得二阶解码器能在其输出上运行，并在资源更充裕时提升准确率。总体而言，我们发现这些优化能将延迟降低 6.8 倍，且在质量上付出合理的折中。借助级联二阶解码，我们表明识别准确率可完全恢复。因此，我们所提出的编码器既可兼作端侧上强劲的独立编码器，也可作为高性能 ASR 流水线的第一部分。
引用
@article{arxiv.2304.00171,
title = {Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR},
author = {Rami Botros and Anmol Gulati and Tara N. Sainath and Krzysztof Choromanski and Ruoming Pang and Trevor Strohman and Weiran Wang and Jiahui Yu},
journal= {arXiv preprint arXiv:2304.00171},
year = {2023}
}