基于类内补丁置换的自蒸馏
计算机视觉与模式识别
2025-05-21 v1
摘要
知识蒸馏（KD）是压缩大型深度学习模型以适配边缘设备的有价值技术。然而，传统KD框架依赖预训练的高容量教师网络，带来显著挑战，如增加内存/存储需求、额外训练成本，以及模糊的教师选择问题。尽管教师免费蒸馏（自蒸馏）已作为有前景的替代方法涌现，但许多现有方法仍依赖结构修改或复杂的训练程序，限制了其通用性和效率。为此，我们提出一种基于教师免费蒸馏的新型框架，仅使用单个学生网络即可实现，无需任何辅助组件、结构修改或额外可学习参数。我们的做法基于一种简单且高效的增强方法，称为类内补丁置换增强。该增强方法通过生成具有不同置信水平的类内样本对，随后应用实例到实例的蒸馏以对齐其预测分布。该方法概念简单、模型无关且易于实现，仅需一个增强函数。广泛实验表明，在图像分类、语义分割和目标检测上，本方法持续优于现有的自蒸馏基线方法以及传统的教师基于KD方法。这些结果表明，自蒸馏的成功可能取决于增强方法的设计。我们的代码已公开于 https://github.com/hchoi71/Intra-class-Patch-Swap。
引用
@article{arxiv.2505.14124,
title = {Intra-class Patch Swap for Self-Distillation},
author = {Hongjun Choi and Eun Som Jeon and Ankita Shukla and Pavan Turaga},
journal= {arXiv preprint arXiv:2505.14124},
year = {2025}
}
备注
Accepted for publication in Neurocomputing