指示性图像检索:将黑箱学习变为灰箱
计算机视觉与模式识别
2022-03-17 v2 人工智能
信息检索
摘要
深度学习自引入后很快成为图像检索的变革者。它将特征提取(通过表征学习)提升为图像检索的核心,而相关性/匹配评估退化为简单的相似度度量。在许多应用中,我们需要指示出匹配证据,而非仅给出排序列表(例如医学图像中目标蛋白/细胞/病灶的位置)。这类似于搜索引擎中需高亮匹配的词。然而,若无显式的相关性/匹配建模,这并不易实现。深度表征学习模型因其黑箱特性而不可行。本文以指示性检索设定重新审视深度学习时代相关性/匹配建模的重要性。研究表明,可跳过表征学习并直接对匹配证据建模。通过去除对预训练模型的依赖,避免了诸多相关问题(如分类与检索间的领域鸿沟、卷积引起的细节扩散等)。更重要的是,研究证明匹配可被显式建模并随后回溯以生成匹配证据指示,从而提升深度推理的可解释性。我们的方法在 Oxford-5k 与 Paris-6k 上均取得文献最佳性能,并在不提取任何深度特征的情况下于 Oxford-5k 创下了 97.77%(Paris-6k 为 97.81%)的新纪录。
引用
@article{arxiv.2201.11898,
title = {Indicative Image Retrieval: Turning Blackbox Learning into Grey},
author = {Xulu Zhang and Zhenqun Yang and Hao Tian and Qing Li and Xiaoyong Wei},
journal= {arXiv preprint arXiv:2201.11898},
year = {2022}
}