Brouhaha：用于语音活动检测、信噪比和 C50 房间声学估计的多任务训练
音频与语音处理
2023-05-26 v3 声音
摘要
大多数自动语音处理系统在处理含噪或混响语音时性能会下降。但如何判断语音是含噪还是混响的？我们提出 Brouhaha，一种联合训练用于从单通道录音中提取语音/非语音段、信噪比和 C50 房间声学的神经网络。Brouhaha 采用数据驱动的方法训练，其中合成含噪和混响的音频片段。我们首先评估其性能，并证明所提出的多任务机制是有益的。然后我们展示两个场景，说明 Brouhaha 如何用于自然含噪和混响数据：1) 调查说话人日志模型（pyannote.audio）所犯的错误；2) 评估自动语音识别模型（OpenAI 的 Whisper）的可靠性。我们的流水线及预训练模型均为开源，并与语音社区共享。
引用
@article{arxiv.2210.13248,
title = {Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation},
author = {Marvin Lavechin and Marianne Métais and Hadrien Titeux and Alodie Boissonnet and Jade Copet and Morgane Rivière and Elika Bergelson and Alejandrina Cristia and Emmanuel Dupoux and Hervé Bredin},
journal= {arXiv preprint arXiv:2210.13248},
year = {2023}
}