单通道与多通道端到端神经说话人日志的互学习
音频与语音处理
2022-10-10 v1 计算与语言
声音
摘要
由于多通道语音处理的高性能，我们可以在知识蒸馏中用多通道模型的输出作为教师标签来训练单通道模型。反之，已知单通道语音数据也可通过在训练中与多通道语音数据混合或用于模型预训练来惠及多通道模型。本文关注说话人日志任务，并提出交替执行上述双向知识迁移。我们首先引入一种可处理单通道与多通道输入的端到端神经说话人日志模型。利用该模型，我们交替进行 i) 从多通道模型到单通道模型的知识蒸馏，以及 ii) 从蒸馏所得单通道模型到多通道模型的微调。在双说话人数据上的实验结果表明，所提方法相互提升了单通道与多通道说话人日志性能。
引用
@article{arxiv.2210.03459,
title = {Mutual Learning of Single- and Multi-Channel End-to-End Neural Diarization},
author = {Shota Horiguchi and Yuki Takashima and Shinji Watanabe and Paola Garcia},
journal= {arXiv preprint arXiv:2210.03459},
year = {2022}
}
备注
Accepted to IEEE SLT 2022