跨域神经基频与周期估计
音频与语音处理
2024-08-13 v3 声音
摘要
基频是我们感知音频信号的基础方面。基频轮廓常用于分析语音和音乐信号，并作为许多音频任务的输入特征，包括音乐转写、歌唱声音合成和韵律编辑。在本文中，我们描述了一组用于提高广泛使用的神经基频与周期估计器精度的方法，以在语音和音乐上均达到最先进的性能。我们还引入了一种新颖的基于熵的方法，用于从基于统计推断的基频估计器（例如神经网络）中提取周期性和逐帧浊音-清音分类，并展示了如何训练一个神经基频估计器以同时处理语音和音乐数据（即跨域估计）而不产生性能下降。我们的估计器实现在 Intel i9-9820X 10核 3.30 GHz CPU 上比实时快 11.2 倍——接近最先进的基于 DSP 的基频估计器的速度——或在 NVIDIA GeForce RTX 3090 GPU 上比实时快 408 倍。我们将所有代码和模型作为 Pitch-Estimating Neural Networks (penn) 发布，这是一个开源的、可通过 pip 安装的 Python 模块，用于训练、评估和使用基频与周期估计神经网络进行推理。penn 的代码可在 https://github.com/interactiveaudiolab/penn 获取。
引用
@article{arxiv.2301.12258,
title = {Cross-domain Neural Pitch and Periodicity Estimation},
author = {Max Morrison and Caedon Hsieh and Nathan Pruyne and Bryan Pardo},
journal= {arXiv preprint arXiv:2301.12258},
year = {2024}
}