面向 LFO 驱动音频效果的调制信号提取
声音
2023-05-23 v1 机器学习
音频与语音处理
摘要
低频振荡器(LFO)驱动的音频效果(如相位器、镶边器和合唱器)使用时变滤波器和延迟来修改输入信号,产生特有的扫频或扩展效果。已有研究表明,当以真实 LFO 信号为条件时,这些效果可使用神经网络建模。然而,在大多数情况下,LFO 信号不可获取,且从音频信号中测量也并非易事,阻碍了建模过程。为此,我们提出一种框架,能够从经处理的音频中提取跨多种数字音频效果、参数设置和乐器配置的任意 LFO 信号。由于我们的系统对 LFO 信号形状无任何限制,我们展示了其提取与效果建模相关的准周期、组合及失真调制信号的能力。此外,我们展示了将提取模型与简单处理网络耦合,能够仅使用干声和湿声音频对来训练未知模拟或数字 LFO 驱动音频效果的端到端黑盒模型,从而无需访问音频效果或内部 LFO 信号。我们公开了代码,并在一个实时 VST 插件中提供了训练好的音频效果模型。
引用
@article{arxiv.2305.13262,
title = {Modulation Extraction for LFO-driven Audio Effects},
author = {Christopher Mitcheltree and Christian J. Steinmetz and Marco Comunità and Joshua D. Reiss},
journal= {arXiv preprint arXiv:2305.13262},
year = {2023}
}
备注
Accepted to DAFx 2023. Listening samples and plugins can be found at https://christhetree.github.io/mod_extraction/