LyricJam Sonic：用于实时作曲与音乐即兴创作的生成式系统

电子音乐艺术家和声音设计师拥有独特的工作流实践，这需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子音乐乐器（如模块化合成器）在声音创作上具有近乎无限的可能性，并可组合以创建独特而复杂的音频路径。发现有趣声音的过程常常是偶然的且无法复现。因此，许多电子流派的音乐家在工作室工作时始终录制音频输出。随后，艺术家很难从数千小时的录音中重新发现可能适合其作曲使用的音频片段。在本文中，我们描述了 LyricJam Sonic——一种供音乐家重新发现其过往录音、将其与其他录音重新语境化、并实时创作原创现场音乐作曲的新型创意工具。一种双模态 AI 驱动方法使用生成的歌词行从艺术家的过往工作室录音中查找匹配音频片段，并用它们生成新的歌词行，进而用于查找其他片段，从而创建连续且不断演进的音乐与歌词流。其意图是使艺术家保持利于音乐创作的流动状态，而非进入刻意搜索过往音频片段的分析/批判状态。该系统可在无用户输入的全自主模式下运行，也可在现场表演模式下运行，即艺术家演奏现场音乐，而系统“聆听”并响应地创建连续的音乐与歌词流。