PiCoGen2：基于迁移学习与弱对齐数据的钢琴翻奏生成

钢琴翻奏生成旨在从流行歌曲创建钢琴翻奏版本。现有方法主要采用监督学习，训练需要强对齐的歌曲-钢琴配对数据，这是通过将钢琴音符重新映射到歌曲音频而构建的。然而，这会导致钢琴信息的丢失，从而造成原始版本与重新映射的钢琴版本之间的不一致。为了克服这一局限，我们提出了一种迁移学习方法，该方法在仅钢琴数据上预训练模型，然后在无需音符重新映射的弱对齐配对数据上进行微调。在预训练期间，为了引导模型学习钢琴作曲概念而非仅仅转录音频，我们使用现有的乐谱转录模型作为编码器，从钢琴录音中提取高层特征。然后，预训练模型在配对的歌曲-钢琴数据上进行微调，将学到的作曲知识迁移到流行歌曲领域。我们的评估表明，这种训练策略使我们的模型 PiCoGen2 能够在五个流行音乐流派中，在客观和主观指标上均优于基线模型，取得高质量结果。