探索用于 Transformer 语言模型生成旋律的采样技术

自然语言处理的研究已表明，训练好的自回归语言模型生成内容的质量受所用采样策略的显著影响。在本研究中，我们考察不同采样技术对多样性与结构等音乐特质的影响。为此，我们在一个庞大的高度结构化的爱尔兰民间旋律集合上训练了一个高容量 transformer 模型，并分析使用分布截断采样技术所生成样本的音乐特质。具体而言，我们采用核采样（nucleus sampling）、近期提出的“典型采样（typical sampling）”以及传统的祖先采样（ancestral sampling）。我们在两种情形下评估这些采样策略的效果：模型良好校准的最优情形，以及我们系统性地削弱模型性能的亚最优情形。我们通过客观与主观评价对生成样本进行评估。我们发现，概率截断技术在最优情形下可能限制多样性与结构模式，但在亚最优情形下也可能产生更具音乐性的样本。