中文

作曲与润色:基于两阶段方法的结构良好钢琴演奏生成

声音 2023-03-08 v4 人工智能 多媒体 音频与语音处理

摘要

即便使用Transformer等强大的序列模型,生成具有长距离音乐结构的富有表现力的钢琴演奏仍具挑战性。与此同时,创作结构良好的旋律或主旋律谱(旋律+和弦)——即更简单音乐形式——的方法取得了更大成功。鉴于上述观察,我们设计了一个基于Transformer的两阶段框架,先作曲(Compose)生成主旋律谱,再润色(Embellish)添加伴奏与表现力触感。这种分解也支持在非钢琴数据上进行预训练。我们的客观与主观实验表明,Compose & Embellish将当前最优方法与真实演奏在结构性上的差距缩小了一半,并改善了丰富度与连贯性等其他音乐方面。

关键词

引用

@article{arxiv.2209.08212,
  title  = {Compose & Embellish: Well-Structured Piano Performance Generation via A Two-Stage Approach},
  author = {Shih-Lun Wu and Yi-Hsuan Yang},
  journal= {arXiv preprint arXiv:2209.08212},
  year   = {2023}
}

备注

Accepted to International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2023