TRBLLmaker——基于 Transformer 的歌词行间语义生成器
计算与语言
2022-12-12 v1 人工智能
摘要
即便对我们而言，理解歌曲的含义也可能颇具挑战。作为本项目的一部分，我们探索生成歌曲含义的过程。尽管文本到文本模型已被广泛使用，但实现类似目标的尝试寥寥无几。歌曲主要在情感分析背景下被研究，即识别文本中的观点与情绪，将其评估为正面或负面，并利用这些评估做出音乐推荐。本文提出一种生成模型，为歌曲的若干行提供隐含意义。我们的模型采用解码器 Transformer 架构 GPT-2，输入为歌曲歌词。此外，我们将该架构与编码器-解码器 Transformer 架构 T5 模型的性能进行比较。我们还考察了不同提示类型在可附加额外信息（如歌手名与歌曲名）选项下的影响。而且，我们测试了不同训练参数下的多种解码方法，并使用 ROUGE 评估其结果。为构建数据集，我们利用 'Genious' API 获取歌曲歌词及其解释，以及丰富的元数据。
引用
@article{arxiv.2212.04917,
title = {TRBLLmaker -- Transformer Reads Between Lyrics Lines maker},
author = {Mor Ventura and Michael Toker},
journal= {arXiv preprint arXiv:2212.04917},
year = {2022}
}