基于分层自蒸馏的级联通道剪枝
计算机视觉与模式识别
2020-08-18 v1
摘要
本文提出一种基于教师—助教—学生框架、利用分层知识蒸馏的滤波器级剪枝方法。我们的方法在中间剪枝层级使用与目标学生共享相同架构与权重的助教。我们提出利用来自对应教师的梯度信息独立剪枝各模型。通过考虑每对学生—教师对的相对规模，该表述为知识蒸馏的容量差距与滤波器显著性更新的偏差之间提供了自然的权衡。我们的结果显示，在使用VGG16与ResNet50架构的CIFAR10与ImageNet分类任务上，可达精度与模型压缩均有改进。我们提供了广泛评估，证明了在不同规模使用可变数量助教模型的益处。
引用
@article{arxiv.2008.06814,
title = {Cascaded channel pruning using hierarchical self-distillation},
author = {Roy Miles and Krystian Mikolajczyk},
journal= {arXiv preprint arXiv:2008.06814},
year = {2020}
}
备注
BMVC 2020