一种用于从语音混合中提取信息性说话人嵌入的教师-学生方法
音频与语音处理
2023-09-20 v2 声音
摘要
我们引入一种单声道神经说话人嵌入提取器，可为语音混合中出现的每个说话人计算一个嵌入。为实现有监督训练，采用教师-学生方法：教师先在各说话人语音叠加形成混合之前从其语音中计算目标嵌入，随后要求学生嵌入提取器从其输入的语音混合中复现这些嵌入。该系统比传统说话人嵌入提取器更可靠地验证混合中给定说话人的存在或缺失，甚至表现出与利用空间信息进行嵌入提取的多通道方法相当的性能。进一步表明，从混合中计算的说话人嵌入可用于检查该说话人是否存在于另一混合中。
引用
@article{arxiv.2306.00634,
title = {A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures},
author = {Tobias Cord-Landwehr and Christoph Boeddeker and Cătălin Zorilă and Rama Doddipatla and Reinhold Haeb-Umbach},
journal= {arXiv preprint arXiv:2306.00634},
year = {2023}
}
备注
Proceedings of INTERSPEECH