竞争性蒸馏：提高视觉分类的简单学习策略
计算机视觉与模式识别
2025-07-01 v1
摘要
深度神经网络（DNN）已显著推动了计算机视觉领域的发展。为改进 DNN 训练过程，知识蒸馏方法通过引入教师网络向学生网络的固定学习方向，展现出加速网络训练的效果。在此背景下，提出了几种蒸馏基于优化策略，如深度互学和自蒸馏，试图通过多个网络的协同训练实现通用的训练性能提升。然而，这些策略因对不同迭代中网络间学习方向影响的poor理解，仅能实现有限的改进。本文提出了一种新颖的竞争性蒸馏策略，允许组成中的每个网络根据其性能可能充当教师，从而提升整体学习性能。竞争性蒸馏组织一组网络执行共享任务并进行竞争，提出了竞争优化以改进参数更新过程。我们进一步引入随机扰动，以激励网络产生突变以实现更佳的视觉表征和全局最优。实验结果表明，竞争性蒸馏在 diverse 任务和数据集上实现了令人满意的性能。
引用
@article{arxiv.2506.23285,
title = {Competitive Distillation: A Simple Learning Strategy for Improving Visual Classification},
author = {Daqian Shi and Xiaolei Diao and Xu Chen and Cédric M. John},
journal= {arXiv preprint arXiv:2506.23285},
year = {2025}
}
备注
Accepted by ICCV 2025