面向细粒度视觉分类的无数据知识蒸馏
计算机视觉与模式识别
2024-04-19 v1
摘要
无数据知识蒸馏（DFKD）是一种有前景的方法，用于解决模型压缩、安全隐私和传输限制等问题。尽管现有的利用DFKD的方法在粗粒度分类中取得了令人鼓舞的成就，但在需要更细致区分相似类别的细粒度分类任务的实际应用中，获得了次优结果。为了解决这个问题，我们提出了一种称为DFKD-FGVC的方法，将DFKD扩展到细粒度视觉分类（FGVC）任务。我们的方法利用带有注意力生成器的对抗蒸馏框架、混合高阶注意力蒸馏和语义特征对比学习。具体来说，我们向生成器引入空间注意力机制，以合成具有更多判别部位细节的细粒度图像。我们还利用混合高阶注意力机制来捕捉部位之间的复杂交互以及细粒度类别判别特征之间的细微差异，同时关注局部特征和语义上下文关系。此外，我们利用蒸馏框架的教师和学生模型在超空间中对比高级语义特征图，比较不同类别的方差。我们在三个广泛使用的FGVC基准（Aircraft、Cars196和CUB200）上评估了我们的方法，并展示了其优越性能。
引用
@article{arxiv.2404.12037,
title = {Data-free Knowledge Distillation for Fine-grained Visual Categorization},
author = {Renrong Shao and Wei Zhang and Jianhua Yin and Jun Wang},
journal= {arXiv preprint arXiv:2404.12037},
year = {2024}
}