基于类比的翻唱歌曲合成

在本工作中，我们提出并解决了如下“翻唱歌曲类比”问题：给定艺术家 1 的歌曲 A 及其由艺术家 2 演唱的翻唱歌曲 A'，以及艺术家 1 的另一首歌曲 B，合成一首歌曲 B'，即由艺术家 2 风格演绎的 B 的翻唱。通常，此类复调风格迁移问题颇具挑战，但我们展示了翻唱歌曲示例如何约束该问题，使其更易求解。首先，我们提取 A 与 A' 之间最长的节拍同步公共子序列，并对 A' 中相应节拍区间做时间拉伸以使其与 A 对齐。随后，我们推导了一种联合二维卷积 NMF（非负矩阵分解），将其应用于同步片段的常 Q 谱图，以学习从 A 到 A' 的声学模板翻译字典。最后，我们将学习到的模板作为滤波器应用于歌曲 B，并利用音频马赛克将翻译后的滤波分量拼合为合成歌曲 B'。我们在若干示例上展示了我们的算法，包括由 Alien Ant Farm 基于其翻唱的“Smooth Criminal”所学得的迈克尔·杰克逊“Bad”的翻唱合成版本。