RMVPE: 面向复调音乐人声音高估计的鲁棒模型
声音
2024-01-09 v2 音频与语音处理
摘要
人声音高是音乐音频处理中的一项重要高层特征。然而，由于伴奏的存在，从复调音乐中提取人声音高更具挑战性。为了消除伴奏的影响，以往的大多数方法采用音乐源分离模型从复调音乐中获取干净的人声，然后再预测人声音高。因此，人声音高估计的性能受到音乐源分离模型的影响。为了解决这一问题并直接从复调音乐中提取人声音高，我们提出了一种名为 RMVPE 的鲁棒模型。该模型能够提取有效的隐藏特征，并从复调音乐中准确预测人声音高。实验结果证明了 RMVPE 在原始音高准确率 (RPA) 和原始色度准确率 (RCA) 方面的优越性。此外，在不同类型噪声下进行的实验表明，RMVPE 在所有信噪比 (SNR) 水平上均表现出鲁棒性。RMVPE 的代码可在 https://github.com/Dream-High/RMVPE 获取。
引用
@article{arxiv.2306.15412,
title = {RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music},
author = {Haojie Wei and Xueke Cao and Tangpeng Dan and Yueguo Chen},
journal= {arXiv preprint arXiv:2306.15412},
year = {2024}
}
备注
This paper has been accepted by INTERSPEECH 2023