Mamba 在语音处理中的应用：迈向自注意力的替代方案
音频与语音处理
2025-04-29 v6 声音
摘要
Transformer 及其衍生模型在计算机视觉、自然语言处理和语音处理的各类任务中取得了成功。为了降低 Transformer 中多头自注意力机制的计算复杂度，选择性状态空间模型（即 Mamba）被提出作为替代方案。Mamba 在自然语言处理和计算机视觉任务中展现了其有效性，但其在语音信号处理中的优越性鲜有研究。本文通过讨论两个典型的语音处理任务来探索将 Mamba 应用于语音处理的解决方案：需要语义和序列信息的语音识别，以及主要关注序列模式的语音增强。实验结果证实，双向 Mamba（BiMamba）始终优于原始 Mamba，突显了双向设计在语音处理中的优势。此外，实验表明 BiMamba 作为 Transformer 模型及其衍生模型中自注意力模块替代方案的有效性，特别是在语义感知任务中。随后，在消融研究和讨论部分总结了将 Mamba 迁移至语音领域的关键技术，为将本研究扩展到更广泛的任务范围提供了见解。
引用
@article{arxiv.2405.12609,
title = {Mamba in Speech: Towards an Alternative to Self-Attention},
author = {Xiangyu Zhang and Qiquan Zhang and Hexin Liu and Tianyi Xiao and Xinyuan Qian and Beena Ahmed and Eliathamby Ambikairajah and Haizhou Li and Julien Epps},
journal= {arXiv preprint arXiv:2405.12609},
year = {2025}
}