基于黑盒音频效果的可微分信号处理

我们提出一种数据驱动方法，通过将有状态第三方音频效果作为层嵌入深度神经网络来实现音频信号处理的自动化。随后我们训练一个深度编码器来分析输入音频并控制效果参数以执行所需的信号处理，仅需输入-目标配对音频数据作为监督。为使用不可微的黑盒效果层训练我们的网络，我们在标准自动微分图中采用一种快速的并行随机梯度近似方案，从而实现高效的端到端反向传播。我们通过三个独立的自动音频制作应用展示该方法的能力：电子管放大器仿真、语音录音中呼吸声与爆音的自动去除，以及自动音乐母带处理。我们通过主观听测验证结果，表明我们的方法不仅能实现新的自动音频效果任务，且可产生与专为音乐母带处理打造的最先进商业方案相媲美的结果。