让所有输出白化：面向高效视觉检索的多教师蒸馏
计算机视觉与模式识别
2023-12-18 v1
摘要
视觉检索旨在从候选库中搜索与给定查询项最相关的视觉项（如图像和视频）。准确率和效率是检索任务中两个相互竞争的目标。本文不追求设计新方法以进一步提升准确率，而是提出一种多教师蒸馏框架 Whiten-MTD，能够将现成预训练检索模型的知识迁移至轻量级学生模型，以实现高效的视觉检索。此外，我们发现不同检索模型获得的相似度存在差异且不可公度，这使得从多个模型联合蒸馏知识具有挑战性。因此，我们提出在融合前对教师模型的输出进行白化，从而实现对检索模型的有效多教师蒸馏。Whiten-MTD 概念简单且切实有效。在两个地标图像检索数据集和一个视频检索数据集上的大量实验证明了所提方法的有效性，及其在检索性能与效率之间的良好平衡。源代码发布于 https://github.com/Maryeon/whiten_mtd。
引用
@article{arxiv.2312.09716,
title = {Let All be Whitened: Multi-teacher Distillation for Efficient Visual Retrieval},
author = {Zhe Ma and Jianfeng Dong and Shouling Ji and Zhenguang Liu and Xuhong Zhang and Zonghui Wang and Sifeng He and Feng Qian and Xiaobo Zhang and Lei Yang},
journal= {arXiv preprint arXiv:2312.09716},
year = {2023}
}
备注
Accepted by AAAI 2024