从真实到克隆的歌手识别

克隆语音的歌手声音在过去几年中变得越来越逼真，受到欢迎。然而，这些克隆语音因人格权问题而构成对行业的威胁。因此，针对识别合成语音中原歌手的方法备受关注。本文我们调查了歌手识别方法如何用于此任务。我们提出了三个嵌入模型，这些模型使用歌手级别的对比学习方案进行训练，其中正对由同一歌手的语音段组成。这些段可以是混合声（第一个模型）、歌声（第二个模型）或两者兼具（第三个模型）。我们展示了所有三个模型在识别真实歌手方面都具有高度能力。然而，在我们的评估集中对克隆歌手版本的分类性能会恶化。这一现象尤其体现在使用混合声作为输入的模型中。这些发现凸显了歌手识别系统中存在的偏差，以及这些偏差如何影响对语音深度伪造的识别。