CEKD：面向增强细粒度数据的交叉集成知识蒸馏
计算机视觉与模式识别
2022-03-15 v1
摘要
数据增强已被证明在训练深度模型中是有效的。现有数据增强方法通过混合图像对并根据混合像素的统计融合相应标签来解决细粒度问题，这会产生对网络性能有害的额外噪声。受此启发，我们提出了一种简单而有效的交叉集成知识蒸馏（CEKD）模型用于细粒度特征学习。我们创新地提出交叉蒸馏模块以提供额外监督来缓解噪声问题，并提出协作集成模块来克服目标冲突问题。所提模型可以端到端方式训练，且仅需图像级标签监督。在广泛使用的细粒度基准上的大量实验证明了我们模型的有效性。具体而言，以ResNet-101为骨干网络，CEKD在三个数据集上分别取得89.59%、95.96%和94.56%的准确率，优于最先进的API-Net达0.99%、1.06%和1.16%。
引用
@article{arxiv.2203.06551,
title = {CEKD:Cross Ensemble Knowledge Distillation for Augmented Fine-grained Data},
author = {Ke Zhang and Jin Fan and Shaoli Huang and Yongliang Qiao and Xiaofeng Yu and Feiwei Qin},
journal= {arXiv preprint arXiv:2203.06551},
year = {2022}
}