TOMI：用于多轨 compositions 的音乐想法转换与组织

层次化规划是建模长序列结构的强大方法。除了考虑音乐在时间结构中的层次化外，本文进一步探讨了更重要的方面：概念层次化，即在音乐时间和空间中生成音乐想法、转换它们并最终将其组织成完整作品。为此，我们引入了TOMI（Transforming and Organizing Music Ideas），作为深度音乐生成中的新方法，并开发了基于指令调优基础大语言模型的TOMI模型。形式上，我们通过稀疏的四维空间表示多轨 composition 流程，其中包括片段（短音频或MIDI段）、章节（时间位置）、轨道（乐器层）和转换（ elaboration 方法）。我们的模型能够生成具有完整曲目结构的多轨电子音乐，并且我们进一步将TOMI模型集成到REAPER数字音频工作站中，实现了人机互动共创。实验结果表明，我们的方法在结构连贯性和整体质量方面均优于基线方法。