钢琴修复生成应用

自回归模型现已能够生成高质量的、长达一分钟且富有表现力的 MIDI 钢琴演奏。尽管这一进展暗示了辅助音乐创作的新工具，但我们观察到生成算法仍未被艺术家广泛使用，原因在于其提供的控制有限、推理时间过高或缺乏与音乐人工作流的集成。在本工作中，我们提出钢琴修复生成应用（Piano Inpainting Application, PIA），一种专注于钢琴演奏修复生成的生成模型，因为我们认为这一基本操作（恢复钢琴演奏中缺失的部分）有助于人机交互并开辟音乐创作的新途径。我们的方法依赖于一个编码器-解码器 Linear Transformer 架构，该架构在一种称为结构化 MIDI 编码（Structured MIDI Encoding）的 MIDI 钢琴演奏新表示上训练。通过揭示 Linear Transformer 与我们的修复任务之间有趣的协同作用，我们能够有效修复钢琴演奏中的连续区域，这使得我们的模型适用于交互式且响应迅速的 A.I. 辅助创作。最后，我们介绍了免费可用的 Ableton Live PIA 插件，它允许音乐人在广泛使用的专业数字音频工作站中使用 PIA 平滑地生成或修改任何 MIDI 片段。