跨媒体检索综述：概念、方法、基准与挑战

多媒体检索在大数据利用中起着不可或缺的作用。过去的努力主要集中在单媒体检索上。然而，用户的需求高度灵活，例如使用一张图像查询来检索相关的音频片段。因此，源于“媒体鸿沟”（即不同媒体类型的表示不一致）的挑战已引起越来越多的关注。跨媒体检索旨在解决查询与检索结果属于不同媒体类型的场景。作为一个相对较新的研究课题，其概念、方法和基准在文献中仍不清晰。为解决这些问题，我们回顾了超过100篇文献，给出了包含概念、方法、主要挑战和开放问题的综述，并建立了包括数据集和实验结果的基准。研究人员可直接采用这些基准来快速评估他们提出的方法。这将帮助他们专注于算法设计，而非耗时的对比方法与结果。需注意，我们构建了一个新数据集XMedia，这是首个公开可用的包含多达五种媒体类型（文本、图像、视频、音频和3D模型）的数据集。我们相信本综述将吸引更多研究者关注跨媒体检索并对他们有所帮助。