使用Wav2vec2和Whisper进行说话人和语言变化检测
音频与语音处理
2023-02-21 v1 计算与语言
机器学习
声音
摘要
我们研究了最近为自动语音识别预训练的Transformer网络检测语音中说话人和语言变化的能力。我们通过简单地将说话人(变化)或语言目标添加到标签中来实现这一点。对于Wav2vec2预训练网络，我们还研究了说话人变化符号的表示是否可以调节以捕获说话人身份特征。使用多个构建的数据集，我们表明这些能力确实存在，说话人识别的等错误率约为10%，语言检测错误率为百分之几。我们将发布代码以确保可重复性。
引用
@article{arxiv.2302.09381,
title = {Speaker and Language Change Detection using Wav2vec2 and Whisper},
author = {Tijn Berns and Nik Vaessen and David A. van Leeuwen},
journal= {arXiv preprint arXiv:2302.09381},
year = {2023}
}
备注
Going to be submitted, but rules do not allow to indicate where