用于基于模板的音乐生成的向量量化对比预测编码

在本工作中,我们提出一种灵活的方法,用于生成离散序列的变体,其中令牌可分组为基本单元,如文本中的句子或音乐中的小节。更确切地说,给定模板序列,我们的目标是在不依赖任何标注的情况下,生成与原始模板具有可感知相似性的新序列;因此我们的变体生成问题与无监督学习相关高层表示的问题紧密关联。我们的贡献有两点:首先,我们提出一种自监督编码技术,称为向量量化对比预测编码(Vector Quantized Contrastive Predictive Coding),它能在离散码集上学习基本单元的有意义指派,并附带控制这些所学离散表示信息内容的机制。其次,我们展示了如何通过在Transformer架构中使用适当的注意力模式,利用这些压缩表示生成模板序列的变体。我们在J.S. Bach众赞歌语料上阐释了我们的方法,讨论了所学离散码的音乐含义,并表明我们提出的方法能够生成给定模板的连贯且高质量的变体。