从音乐谱图图像进行直接内容基检索

音乐谱图的数字化在保存和可及性方面发挥着关键作用，但信息检索仍主要依赖元数据搜索，如按标题或作曲家搜索。尽管内容基于搜索在音乐谱图图像上的潜在价值巨大，却在文本文档之外得到很少探索，尤其是对音乐家、音乐学家和教育者而言。本工作通过首先研究哪些谱图特征最相关用于检索，并定义系统方法从任意标注语料库构建查询数据集。我们还考虑多种音乐谱图图像上的内容基于搜索方法，从依赖光学音乐识别（OMR）的转录依赖方法，到直接从谱图图像识别查询的无转录Transformer模型，以及受文本提示驱动的大型语言模型。我们的实验在四个展现数据集大小、图像质量和排版机制多样性特征的语料库上进行。总体而言，每种方法在不同条件下都表现出色：OMR基于方法在内部检索方面取得更好成绩，而无转录模型在处理领域变异性方面更有效。