基于 Mamba 的非侵入式双耳语音可理解性预测
声音
2025-07-09 v1 音频与语音处理
摘要
语音可理解性预测 (SIP) 模型已被用作客观指标来评估听力受损 (HI) 听众的可理解性。在 Clarity Prediction Challenge 2 (CPC2) 中，基于变换器的非侵入式双耳 SIP 模型显示出高预测准确率。然而，自注意力机制在理论上导致高计算和内存开销，成为低延迟、低功耗设备的瓶颈。这可能也影响双耳 SIP 的时序处理。因此，我们提出基于 Mamba 的 SIP 模型取代变换器用于时序处理模块。实验结果表明，我们提出的 SIP 模型在保持相对较小参数数量的同时，实现了与基线相当的性能。我们的分析表明，基于双向 Mamba 的 SIP 模型有效地从双耳信号中捕获了语境和空间语音信息。
引用
@article{arxiv.2507.05729,
title = {Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners},
author = {Katsuhiko Yamamoto and Koichi Miyazaki},
journal= {arXiv preprint arXiv:2507.05729},
year = {2025}
}
备注
Accepted by INTERSPEECH 2025