面向在线蒸馏的混合样本增强
计算机视觉与模式识别
2023-03-03 v2
摘要
混合样本正则化（MSR），如 MixUp 或 CutMix，是一种泛化卷积神经网络的强大数据增强策略。先前的实证分析表明 MSR 与传统离线知识蒸馏（KD）之间存在正交的性能增益。更具体地说，在序列蒸馏的训练阶段引入 MSR 可增强学生网络。然而，MSR 与在线知识蒸馏（即一组对等学生相互学习）之间的相互作用仍未被探索。为弥补这一空白，我们首次尝试将 CutMix 引入在线蒸馏，并实证观察到显著改进。受此启发，我们提出了一种专为在线蒸馏设计的更强 MSR，命名为 Cut\textsuperscript{n}Mix。此外，基于 Cut\textsuperscript{n}Mix 设计了一种新颖的在线蒸馏框架，通过特征级互学习及自集成教师来增强蒸馏。在 CIFAR10 和 CIFAR100 上使用六种网络架构的综合评估表明，我们的方法能持续优于最先进的蒸馏方法。
引用
@article{arxiv.2206.12370,
title = {Mixed Sample Augmentation for Online Distillation},
author = {Yiqing Shen and Liwu Xu and Yuzhe Yang and Yaqian Li and Yandong Guo},
journal= {arXiv preprint arXiv:2206.12370},
year = {2023}
}
备注
5 pages