具有线性可扩展注意力的快速 Conformer 用于高效语音识别
音频与语音处理
2023-10-03 v6 声音
摘要
基于 Conformer 的模型已成为语音处理任务中占主导地位的端到端架构。为了增强 Conformer 架构以实现高效训练与推理，我们精心重新设计了 Conformer，并引入了一种新颖的下采样方案。所提出的模型名为 Fast Conformer（FC），比原始 Conformer 快 2.8 倍，支持在不改变核心架构的情况下扩展到十亿参数，并在自动语音识别基准上达到了最先进的准确率。为了实现长达 11 小时的长语音转写，我们在训练后将以全局注意力替换为有限上下文注意力，同时通过增加全局令牌进行微调来提升准确率。Fast Conformer 与 Transformer 解码器结合时，在语音翻译与口语理解任务上的准确率与速度也均优于原始 Conformer。
引用
@article{arxiv.2305.05084,
title = {Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition},
author = {Dima Rekesh and Nithin Rao Koluguri and Samuel Kriman and Somshubra Majumdar and Vahid Noroozi and He Huang and Oleksii Hrinchuk and Krishna Puvvada and Ankur Kumar and Jagadeesh Balam and Boris Ginsburg},
journal= {arXiv preprint arXiv:2305.05084},
year = {2023}
}
备注
Accepted at ASRU 2023