中文

RealMAN:用于动态语音增强与定位的真实录制与标注麦克风阵列数据集

声音 2024-10-02 v2 音频与语音处理

摘要

深度学习多通道语音增强与源定位系统的训练严重依赖房间脉冲响应与多通道漫射噪声的模拟,由于缺乏大规模真实录制数据集。然而,模拟数据与真实场景之间的声学不匹配可能降低模型在实际应用中的性能。为弥合此差距,本文提出一种新的相对大规模真实录制与标注麦克风阵列语音&噪声数据集(RealMAN)。该数据集在两个方面具有重要价值:1)在真实场景下对语音增强与定位算法进行基准测试;2)为提升实际应用性能提供大量真实世界训练数据。具体而言,使用32通道高保真麦克风阵列进行录制。使用音箱播放源语音信号(约35小时普通话)。在32个不同场景下录制了83.7小时语音信号(其中约48.3小时来自静止说话人,35.4小时来自移动说话人),并在31个不同场景下录制了144.5小时背景噪声。语音与噪声录制场景覆盖了各种常见的室内、户外、半户外及交通工具内等环境,能够训练通用语音增强与源定位网络。为获得任务特定的标注,通过自动检测音箱位置,使用全景鱼眼摄像机对说话人位置进行注释。将直接路径信号设为语音增强的目标干净语音,通过估计的直接路径传播滤波器从源语音信号中提取。

关键词

引用

@article{arxiv.2406.19959,
  title  = {RealMAN: A Real-Recorded and Annotated Microphone Array Dataset for Dynamic Speech Enhancement and Localization},
  author = {Bing Yang and Changsheng Quan and Yabo Wang and Pengyu Wang and Yujie Yang and Ying Fang and Nian Shao and Hui Bu and Xin Xu and Xiaofei Li},
  journal= {arXiv preprint arXiv:2406.19959},
  year   = {2024}
}

备注

accepted by NIPS 2024