E-Branchformer 与 Conformer 在语音识别、翻译与理解任务中的比较研究
计算与语言
2023-05-19 v1 声音
音频与语音处理
摘要
Conformer 作为一种卷积增强的 Transformer 变体，因其在自动语音识别（ASR）、语音翻译（ST）和口语理解（SLU）等多项任务中的优越性能，已成为语音处理的事实标准编码器架构。近来，一种名为 E-Branchformer 的新编码器在 LibriSpeech ASR 基准上超越了 Conformer，使其在更通用的语音应用中颇具前景。本工作通过使用不同类型的端到端序列到序列模型进行大量实验，比较了 E-Branchformer 与 Conformer。结果表明，在 15 个 ASR、2 个 ST 和 3 个 SLU 基准的几乎所有评测集上，E-Branchformer 取得了与 Conformer 相当或更好的性能，且在训练时更稳定。我们将发布训练配置与预训练模型以保证可复现性，从而惠及语音社区。
引用
@article{arxiv.2305.11073,
title = {A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks},
author = {Yifan Peng and Kwangyoun Kim and Felix Wu and Brian Yan and Siddhant Arora and William Chen and Jiyang Tang and Suwon Shon and Prashant Sridhar and Shinji Watanabe},
journal= {arXiv preprint arXiv:2305.11073},
year = {2023}
}
备注
Accepted at INTERSPEECH 2023. Code: https://github.com/espnet/espnet