麦克风阵列几何无关的多说人远场语音识别：NTT 为 CHiME-8 挑战 DASR 任务的系统
音频与语音处理
2025-06-23 v2 信号处理
摘要
本文介绍了我们为CHiME-8挑战DASR任务1设计的多说人远场自动语音识别（DASR）系统。我们的系统执行说话人计数、说话人分割和语音识别。它处理从晚餐派对到专业会议，从两名到八名说话人的各种录音条件。我们首先进行分割，然后进行语音增强，最后进行语音识别作为挑战基线。然而，我们引入了若干关键改进。首先，我们基于端到端说话人分割与向量聚类（EEND-VC）衍生出强大的说话人分割方法，利用EEND-VC的增强嵌入进行多通道说话人计数，并引入目标说话人语音活动检测（TS-VAD）。对于语音增强，我们提出了一种新颖的麦克风选择规则以更好地选择分布式麦克风中最相关的麦克风，并探讨了阵形束的改进。最后，对于语音识别，我们开发了多个模型，利用Whisper和 WavLM 语音基础模型。我们展示了提交给挑战的结果以及后续获得的更新结果。我们最强的系统相较于基线实现了63%的相对宏观 tcpWER 改进，并在几何无关系统中超越了挑战最佳结果，表现于 NOTSOFAR-1 会议评估数据。
引用
@article{arxiv.2502.09859,
title = {Microphone Array Geometry Independent Multi-Talker Distant ASR: NTT System for the DASR Task of the CHiME-8 Challenge},
author = {Naoyuki Kamo and Naohiro Tawara and Atsushi Ando and Takatomo Kano and Hiroshi Sato and Rintaro Ikeshita and Takafumi Moriya and Shota Horiguchi and Kohei Matsuura and Atsunori Ogawa and Alexis Plaquet and Takanori Ashihara and Tsubasa Ochiai and Masato Mimura and Marc Delcroix and Tomohiro Nakatani and Taichi Asami and Shoko Araki},
journal= {arXiv preprint arXiv:2502.09859},
year = {2025}
}
备注
55 pages, 12 figures