面向多种阵列拓扑多通道语音识别的自动通道选择与空间特征融合
声音
2023-12-18 v1 音频与语音处理
摘要
自动语音识别(ASR)已取得显著进展，但在具有多种录音设备的各种阵列拓扑的真实远场场景中仍面临挑战。CHiME-7 远场 ASR 任务的核心是设计一个统一系统，能够泛化到具有多种录音设备的各种阵列拓扑，并在真实环境中提供可靠的识别性能。针对这一任务，我们引入了一个在各种阵列拓扑下表现出卓越性能的 ASR 系统。首先，我们提出了两个基于注意力的自动通道选择模块，为每条语音从多个录音设备的多通道信号中选择最有利的子集。此外，我们引入了通道间空间特征，以增强多帧跨通道注意力的有效性，帮助其提升空间信息感知能力。最后，受 U-Net 架构启发，我们提出了一个多层卷积融合模块，将多通道输出集成为单通道输出。在带有理想分割的 CHiME-7 语料库上的实验结果表明，与基线 ASR 系统相比，我们提出的 ASR 系统在 Eval 集上的宏平均基于说话人归因的字错率(DA-WER)相对降低了 40.1%。
引用
@article{arxiv.2312.09746,
title = {Automatic channel selection and spatial feature integration for multi-channel speech recognition across various array topologies},
author = {Bingshen Mu and Pengcheng Guo and Dake Guo and Pan Zhou and Wei Chen and Lei Xie},
journal= {arXiv preprint arXiv:2312.09746},
year = {2023}
}
备注
Accepted by ICASSP 2024