基于跨通道注意力的半监督多通道说话人日志
音频与语音处理
2023-07-18 v1
摘要
大多数神经说话人日志系统依赖充足的手动训练数据标签，而在真实场景中难以收集。本文提出一种半监督说话人日志系统，通过为无标签数据生成伪标签来利用大规模多通道训练数据。此外，我们将跨通道注意力引入基于记忆感知多说话人嵌入的神经说话人日志（NSD-MA-MSE）中，以更好地学习说话人嵌入的通道上下文信息。在仅含训练集部分说话人标签的CHiME-7 Mixer6数据集上的实验结果表明，我们的系统在开发集上相比基于聚类的模型实现了57.01%的相对DER降低。我们进一步在CHiME-6数据集上进行了实验以模拟缺失部分训练集标签的场景。当使用80%与50%的有标签训练数据时，我们的系统性能与使用100%有标签数据训练所得结果相当。
引用
@article{arxiv.2307.08688,
title = {Semi-supervised multi-channel speaker diarization with cross-channel attention},
author = {Shilong Wu and Jun Du and Maokui He and Shutong Niu and Hang Chen and Haitao Tang and Chin-Hui Lee},
journal= {arXiv preprint arXiv:2307.08688},
year = {2023}
}
备注
8 pages,3 figures