BanglaRobustNet：面向粗糙环境的半波特-BERT 语音识别混合去噪注意力架构
声音
2026-01-27 v1 计算与语言
计算机视觉与模式识别
机器学习
音频与语音处理
摘要
孔加拉语是全球使用人数最多的语言之一，但在最新自动语音识别 (ASR) 研究中仍严重不足，尤其是在噪声和说话人多样性条件下。本文提出 BanglaRobustNet，一个基于 Wav2Vec-BERT 的混合去噪注意力框架，旨在应对这些挑战。该架构集成了基于扩散的去噪模块以抑制环境噪声同时保留孔加拉语特定语音特征，以及条件交叉注意力模块以说话人嵌入为条件实现对性别、年龄和方言的鲁棒性。采用复合目标函数进行端到端训练，结合 CTC 损失、语音一致性和说话人对齐，BanglaRobustNet 在 WER 和 CER 上较 Wav2Vec-BERT 和 Whisper 基线显著降低。基于 Mozilla Common Voice Bangla 数据集及增强噪声语音的评估确认了该方法的有效性，建立了针对低资源、噪声环境下语言设置的鲁棒 ASR 系统。
引用
@article{arxiv.2601.17679,
title = {BanglaRobustNet: A Hybrid Denoising-Attention Architecture for Robust Bangla Speech Recognition},
author = {Md Sazzadul Islam Ridoy and Mubaswira Ibnat Zidney and Sumi Akter and Md. Aminur Rahman},
journal= {arXiv preprint arXiv:2601.17679},
year = {2026}
}