面向图像检索的上下文无关知识蒸馏
计算机视觉与模式识别
2022-07-20 v1
摘要
现有的数据依赖哈希方法使用具有数百万参数的大型骨干网络且计算复杂。现有的知识蒸馏方法利用深度（教师）模型的logits和其他特征作为紧凑（学生）模型的知识，这要求教师网络在目标上下文上与学生模型并行微调。在目标上下文上训练教师需要更多时间和计算资源。本文中，我们提出上下文无关知识蒸馏，其利用教师模型的知识而无需在目标上下文上微调它。我们还提出了一种用于知识蒸馏的高效学生模型新架构。所提方法遵循两步过程。第一步借助来自教师模型的上下文无关知识蒸馏预训练学生模型。第二步在图像检索的上下文上微调学生模型。为展示所提方法的有效性，我们在不同检索框架下（包括深度柯西哈希（DCH）和中心相似量化（CSQ））比较学生模型与教师模型的检索结果、参数数量和运算次数。实验结果证实所提方法在检索结果与效率之间提供了有前景的权衡。本文所用代码已公开于 \url{https://github.com/satoru2001/CUKDFIR}。
引用
@article{arxiv.2207.09070,
title = {Context Unaware Knowledge Distillation for Image Retrieval},
author = {Bytasandram Yaswanth Reddy and Shiv Ram Dubey and Rakesh Kumar Sanodiya and Ravi Ranjan Prasad Karn},
journal= {arXiv preprint arXiv:2207.09070},
year = {2022}
}
备注
Accepted in International Conference on Computer Vision and Machine Intelligence (CVMI), 2022