基于DDSP的从弦级MIDI输入合成复调吉他演奏神经波形合成
声音
2023-09-15 v1 音频与语音处理
摘要
我们探索了从弦级MIDI输入对原声吉他进行神经合成的使用。我们提出了四种不同的系统，并针对自然音频和基于采样的基线，通过客观指标和主观评价对它们进行比较。我们通过针对架构和中间任务（如预测音高和响度控制特征）做出各种考量，迭代地开发这四种系统。我们发现，将控制特征预测任务表述为分类任务而非回归任务会带来更好的结果。此外，我们发现我们提出的最简单系统（直接从MIDI输入预测合成参数）在四个提出系统中表现最佳。音频示例可在 https://erl-j.github.io/neural-guitar-web-supplement 获取。
引用
@article{arxiv.2309.07658,
title = {DDSP-based Neural Waveform Synthesis of Polyphonic Guitar Performance from String-wise MIDI Input},
author = {Nicolas Jonason and Xin Wang and Erica Cooper and Lauri Juvela and Bob L. T. Sturm and Junichi Yamagishi},
journal= {arXiv preprint arXiv:2309.07658},
year = {2023}
}