面向图像实例检索的 CNN 与费舍尔向量实用指南
计算机视觉与模式识别
2015-08-26 v3 信息检索
摘要
随着深度学习成为计算机视觉中的主导方法，从卷积神经网络（CNNs）提取的表示作为图像实例检索中备受青睐的先进全局图像描述子，正迅速赶上费舍尔向量（FVs）。尽管 CNN 在图像分类上的良好性能已被明确认可，但二者在图像检索语境中孰优孰劣尚不完全清楚。本文提出一项综合研究，系统评估 FV 与 CNN 用于图像检索。第一部分在多个公开可用数据集上比较 FV 与 CNN 的性能。我们考察了各方法特有的一些细节。对于 FV，我们比较基于兴趣点检测器的稀疏描述子与稠密单尺度和多尺度变体。对于 CNN，我们着重理解深度、架构和训练数据对检索结果的影响。我们的研究表明，没有哪种描述子系统性地优于另一种，且通常通过联合使用两类描述子可获得性能提升。研究的第二部分关注几何变换（如旋转和尺度变化）的影响。基于兴趣点检测器的 FV 对此类变换具有内在的鲁棒性，而 CNN 没有内置机制来保证此种不变性。我们展示 CNN 的性能在存在旋转时会迅速退化，而受尺度变化的影响则小得多。随后我们提出若干将所需不变性纳入 CNN 流水线的方法。总体而言，我们的工作旨在作为参考指南，为寻求最适合其特定图像实例检索问题的先进全局描述子的人提供实用且易于实现的指导。
引用
@article{arxiv.1508.02496,
title = {A Practical Guide to CNNs and Fisher Vectors for Image Instance Retrieval},
author = {Vijay Chandrasekhar and Jie Lin and Olivier Morère and Hanlin Goh and Antoine Veillard},
journal= {arXiv preprint arXiv:1508.02496},
year = {2015}
}
备注
Deep Convolutional Neural Networks for instance retrieval, Fisher Vectors, instance retrieval