特征蒸馏的全面革新
计算机视觉与模式识别
2019-08-12 v2 机器学习
摘要
我们研究了实现网络压缩的特征蒸馏方法的设计方面，并提出了一种新颖的特征蒸馏方法，其蒸馏损失被设计为使多个方面协同：教师变换、学生变换、蒸馏特征位置与距离函数。我们提出的蒸馏损失包含带有新设计边界ReLU的特征变换、新的蒸馏特征位置，以及用于跳过对学生压缩产生不利影响的冗余信息的部分L2距离函数。在ImageNet上，我们提出的方法以ResNet50取得21.65%的top-1误差，优于教师网络ResNet152的性能。我们提出的方法在图像分类、目标检测与语义分割等多种任务上进行了评估，并在所有任务中取得显著性能提升。代码可在 https://sites.google.com/view/byeongho-heo/overhaul 获取。
引用
@article{arxiv.1904.01866,
title = {A Comprehensive Overhaul of Feature Distillation},
author = {Byeongho Heo and Jeesoo Kim and Sangdoo Yun and Hyojin Park and Nojun Kwak and Jin Young Choi},
journal= {arXiv preprint arXiv:1904.01866},
year = {2019}
}
备注
Accepted at ICCV 2019