面向大规模对象级图像检索的动态空间验证
计算机视觉与模式识别
2019-12-03 v4
摘要
来自社交媒体的图像可以反映多样的观点、激烈的争论和创造性的表达，为检索任务增加了新的复杂性。从事基于内容的图像检索的研究人员传统上调整其算法，以使过滤后的结果与用户搜索意图相匹配。然而，我们现在被来源、真实性甚至含义未知的合成图像所淹没。在这种不确定性下，用户可能对搜索查询的结果应该是什么样没有初步概念。例如，隐藏的人物、拼接的物体和微妙改变的场景可能很难让用户最初在模因图像中检测到，但可能对其构成有显著贡献。我们提出了一种新的空间验证方法，旨在通过在二维 Hough 空间中动态聚类关键点来对对象级区域进行建模，然后利用这些关键点对结果中贡献较小的对象进行准确加权，而无需昂贵的对象检测步骤。我们将此方法称为场景中对象到场景中对象评分，并针对 CPU 上的快速矩阵操作进行了优化。在 Oxford5K、Paris 6K 和 Google-Landmarks 数据集上，OS2OS 在经典 CBIR 问题中的表现与 SOTA 方法相当，且无需边界框。它还在新兴检索任务中取得成功，例如 NIST MFC2018 数据集和 Reddit 上的模因风格合成图像的图像合成匹配。
引用
@article{arxiv.1903.10019,
title = {Dynamic Spatial Verification for Large-Scale Object-Level Image Retrieval},
author = {Joel Brogan and Aparna Bharati and Daniel Moreira and Kevin Bowyer and Patrick Flynn and Anderson Rocha and Walter Scheirer},
journal= {arXiv preprint arXiv:1903.10019},
year = {2019}
}