探索 Mamba 在语音应用中的能力
声音
2024-06-25 v1 音频与语音处理
摘要
本文探讨了 Mamba 的能力，这是一种基于状态空间模型（SSM）的新架构，可作为基于 Transformer 模型的强有力替代方案。在语音领域，设计良好的基于 Transformer 的模型（如 Conformer 和 E-Branchformer）已成为事实上的标准。大量评估已证明这些基于 Transformer 的模型在广泛的语音任务中的有效性。相比之下，SSM 的评估仅限于自动语音识别（ASR）和语音合成等任务。在本文中，我们将 Mamba 与最先进的 Transformer 变体在多种语音应用中进行了比较，包括 ASR、文本到语音合成、口语理解和语音摘要。实验评估表明，Mamba 取得了与 Transformer 模型相当或更好的性能，并展示了其在长语音处理中的效率。
引用
@article{arxiv.2406.16808,
title = {Exploring the Capability of Mamba in Speech Applications},
author = {Koichi Miyazaki and Yoshiki Masuyama and Masato Murata},
journal= {arXiv preprint arXiv:2406.16808},
year = {2024}
}
备注
Accepted at Interspeech 2024