重访基于局部描述子的图像到类度量用于少样本学习

图像分类中的少样本学习旨在仅利用每类少量训练样本学习一个分类器对图像分类。近期工作取得了有前景的分类性能，其中通常使用基于图像级特征的度量。在本文中，我们认为鉴于少样本学习中样本稀少，此类级别的度量可能不够有效。相反，受局部不变特征鼎盛时期惊人成功的启发，我们认为应采用基于局部描述子的图像到类度量。具体地，建立在近期情景训练（episodic training）机制之上，我们提出深度最近邻神经网络（简称 DN4）并以端到端方式训练它。它与已有文献的关键区别在于将最后一层中基于图像级特征的度量替换为基于局部描述子的图像到类度量。该度量通过卷积特征图的深度局部描述子上的 $k$ 近邻搜索在线进行。所提出的 DN4 不仅为图像到类度量学习最优深度局部描述子，还因同类图像间视觉模式的可交换性，在样本稀缺情形下利用了此种度量的更高效率。我们的工作带来了一个简单、有效且计算高效的少样本学习框架。在基准数据集上的实验研究一致显示其优于相关最优方法（state-of-the-art），最大绝对提升达 $17\%$。源代码可从 \UrlFont{https://github.com/WenbinLee/DN4.git} 获取。