基于内容的图像检索与深度学习时代的语义鸿沟

基于内容的图像检索在过去十年取得了惊人进展，尤其是在检索与查询图像中所描绘的同一物体的图像这一任务上。该场景被称为实例或物体检索，需要在图像间匹配细粒度视觉模式。然而，语义并未起关键作用。这引出了一个问题：实例检索的近期进展是否能迁移到更通用的图像检索场景？为回答此问题，我们首先简要概述实例检索最相关的里程碑。随后将其应用于语义图像检索任务，发现它们在需要图像理解的设置下表现不如简单得多且更通用的方法。此后，我们回顾了通过整合先验世界知识来弥合这一所谓语义鸿沟的现有方法。我们得出结论：语义图像检索进一步发展的关键问题在于缺乏标准化的任务定义与合适的基准数据集。