LyricJam：为现场器乐生成歌词的系统

我们描述了一种实时系统，它接收来自即兴演奏会的实时音频流，并生成与正在演奏的现场音乐相一致的歌词行。我们提出了两种新颖方法来对齐音频与文本表示的所学潜空间，使系统能够生成匹配现场器乐的新颖歌词行。一种方法基于音频与歌词潜表示的对抗对齐，另一种方法学习将拓扑从音乐潜空间迁移到歌词潜空间。一项由音乐艺术家使用系统的用户研究表明，该系统不仅有助于歌词创作，还鼓励艺术家即兴发挥并寻找新的音乐表达。另一项用户研究表明，用户偏好使用所提方法生成的歌词行甚于基线模型生成的歌词行。