创造性语言生成评估：以说唱歌词代笔为例

旨在模仿人类创造性使用语言能力的语言生成任务难以评估，因为必须考虑生成文本的创造性、风格及其他非平凡方面。本文的目标是针对此类任务之一——说唱歌词代笔——开发评估方法，并为该任务的目标与未来方向提供明确的、可量化的基础。代笔生成的文本必须在风格上与被模仿的艺术家相似，但在内容上截然不同。我们开发了一种新颖的评估方法，涵盖了该任务几个互补的方面，并说明了如何使用此类评估来有意义地分析系统性能。我们提供了一个包含 13 位说唱艺术家歌词的语料库，并进行了风格相似度标注，这使我们能够评估对生成歌词进行人工评估的可行性。