基于可微分 DSP 的实时音色重映射

音色是多样化音乐情境中主要的表达方式之一。然而，流行的音频驱动合成方法主要依赖音高和音量包络，实际上在消弭了来自输入的音色表达。我们的方法基于音色类比的概念，探讨了如何将来自输入信号的音色表达映射到合成器的控制上。利用可微分数字信号处理，我们的方法通过一种新颖的特征差异损失函数，直接优化合成器参数。这种损失函数旨在学习音乐事件之间的相对音色差异，优先考虑片段内分级音色调制的细微差异，允许在音色空间中进行有意义的翻译。以鼓面表演为案例研究，其中音色表达至关重要，我们展示了从声学鼓面到以 Roland TR-808 为模型的可微分合成器进行实时音色重映射。