字幕生成指标能否反映音乐语义对齐？

在先进语言生成模型出现的推动下，音乐字幕生成已成为一项极具前景的任务。然而，音乐字幕生成的评估严重依赖于 BLEU、METEOR 和 ROUGE 等为其他领域开发的传统指标，而未对其在这一新领域的适用性提供正当理由。我们展示了传统指标易受语法变化影响的案例，并表明它们与人类判断的相关性较差。通过探讨这些问题，我们旨在强调对如何评估音乐字幕进行批判性重新审视的必要性。