从缩略图图像中提取音乐印象？

近年来, 随着机器学习模型在音乐检索和生成系统方面取得显著进展, 能够以自然语言句子作为输入的研究数量有所增加。然而, 目前缺乏大规模公开可用的数据集, 这些数据集包含音乐数据及其对应的自然语言描述(音乐说明文本)。特别是非音乐信息(如适合聆听某首歌曲的场景以及聆听后引发的情感)对于描述音乐至关重要。由于从音乐数据中直接提取此类信息存在挑战, 现有音乐说明文本数据集中缺乏此类信息。为此, 我们提出了一种从音乐缩略图图像中推断非音乐方面信息并生成音乐说明文本数据的方法, 并通过人类评估验证了该方法的有效性。此外, 我们创建了一个包含约 36 万条包含非音乐方面信息的说明文本的数据集。基于该数据集, 我们训练了音乐检索模型, 并通过评估展示了其在音乐检索任务中的有效性。