LyricWhiz：通过向ChatGPT低语实现的鲁棒多语言零样本歌词转写
计算与语言
2024-07-26 v4 声音
音频与语音处理
摘要
我们提出LyricWhiz，一种鲁棒、多语言、零样本的自动歌词转写方法，在多个歌词转写数据集上达到最先进性能，即使在摇滚与金属等具挑战性的曲风中亦然。我们新颖的免训练方法利用Whisper（一种弱监督鲁棒语音识别模型）与GPT-4（当今性能最佳的基于对话的大语言模型）。在所提方法中，Whisper作为“耳朵”转写音频，而GPT-4作为“大脑”，充当标注器，在上下文输出选择与纠错方面表现强劲。我们的实验表明，LyricWhiz相比现有方法显著降低了英文词错误率，并能有效跨多种语言转写歌词。此外，我们基于MTG-Jamendo，使用LyricWhiz创建了首个公开可用的、大规模、多语言歌词转写数据集，采用CC-BY-NC-SA版权许可，并提供人工标注子集用于噪声水平估计与评估。我们预期所提方法与数据集将推动多语言歌词转写这一具挑战性的新兴任务的发展。
引用
@article{arxiv.2306.17103,
title = {LyricWhiz: Robust Multilingual Zero-shot Lyrics Transcription by Whispering to ChatGPT},
author = {Le Zhuo and Ruibin Yuan and Jiahao Pan and Yinghao Ma and Yizhi LI and Ge Zhang and Si Liu and Roger Dannenberg and Jie Fu and Chenghua Lin and Emmanouil Benetos and Wei Xue and Yike Guo},
journal= {arXiv preprint arXiv:2306.17103},
year = {2024}
}
备注
9 pages, 2 figures, 5 tables, accepted by ISMIR 2023