通过权重平均与多样化扰动改进集成蒸馏
机器学习
2022-07-01 v1
摘要
深度神经网络集成已展现出优越的性能，但其高昂的计算成本阻碍了在资源受限环境中的应用。这促使人们将集成教师模型的知识蒸馏到更小的学生网络中，而此集成蒸馏有两个重要的设计选择：1) 如何构建学生网络，2) 训练期间应展示什么数据。在本文中，我们提出了一种权重平均技术，其中训练一个带有多个子网络的学生网络以吸收集成教师模型的功能多样性，但随后这些子网络被适当地平均用于推理，得到一个无额外推理成本的单一学生网络。我们还提出了一种扰动策略，寻求能更好地将教师模型的多样性迁移到学生模型的输入。结合这两者，我们的方法在各种图像分类任务上显著优于先前的方法。
引用
@article{arxiv.2206.15047,
title = {Improving Ensemble Distillation With Weight Averaging and Diversifying Perturbation},
author = {Giung Nam and Hyungi Lee and Byeongho Heo and Juho Lee},
journal= {arXiv preprint arXiv:2206.15047},
year = {2022}
}
备注
ICML 2022