SCDNet：基于自监督学习的无监督说话人变化检测
音频与语音处理
2024-06-13 v1 声音
摘要
说话人变化检测（SCD）旨在识别对话中说话人的边界。针对在 SCD 任务上微调 wav2vec 2.0 模型取得的成功，本文进一步探讨了自监督学习（SSL）特征在 SCD 任务中的应用。具体提出一种名为 SCDNet 的 SCD 模型。通过该模型，研究了包括 Hubert、wav2vec 2.0 和 WavLm 在内的多种最新 SSL 模型。为辨别 SSL 模型在 SCD 任务中最有效的中间层，采用可学习加权方法分析中间表示的有效性。此外，还实现了一种基于微调的方法进一步比较 SSL 模型在 SCD 任务中的特征。Furthermore, a contrastive learning method is proposed to mitigate the overfitting tendencies in the training of both the fine-tuning-based method and SCDNet. Experiments showcase the superiority of WavLm in the SCD task and also demonstrate the good design of SCDNet.
关键词
引用
@article{arxiv.2406.08393,
title = {SCDNet: Self-supervised Learning Feature-based Speaker Change Detection},
author = {Yue Li and Xinsheng Wang and Li Zhang and Lei Xie},
journal= {arXiv preprint arXiv:2406.08393},
year = {2024}
}