如何为细粒度图像识别选择教师模型
计算机视觉与模式识别
2026-05-18 v1
摘要
细粒度图像识别旨在对诸如鸟类物种或汽车型号等子类别进行分类。尽管当前最优（SOTA）模型精度很高，但它们通常资源消耗过大，难以部署在资源受限的设备上。知识蒸馏通过将知识从大型教师模型迁移到较小的学生模型来解决此问题。一个关键挑战是选择合适的教师模型，因为它严重影响学生模型的性能。本文引入了一个基于教师预测比率的教师选择指标，名为“Ratio 1-2”。通过在3个学生模型、8个教师模型、8个数据集和4种训练策略下进行的一千多次实验的广泛分析，我们证明该指标相较于先前方法将教师选择效果提升了18%，使得小型学生模型能够获得高达17%的准确率提升。实验代码库可在以下链接获取：https://github.com/arkel23/FGIR-KD-Teacher。
引用
@article{arxiv.2605.15689,
title = {How to Choose Your Teacher for Fine Grained Image Recognition},
author = {Oswin Gosal and Edwin Arkel Rios and Augusto Christian Surya and Fernando Mikael and Bo-Cheng Lai and Min-Chun Hu},
journal= {arXiv preprint arXiv:2605.15689},
year = {2026}
}
备注
Accepted to The 13th Workshop on Fine-Grained Visual Categorization (FGVC13) @ CVPR 2026. Main: 6 pages, 3 figures, 4 tables