网络激活的自然统计及其对知识蒸馏的启示
计算机视觉与模式识别
2021-06-02 v1
摘要
以类似于自然图像统计研究的方式，我们研究了深度神经网络各层激活的自然统计。如我们所展示的，这些统计与图像统计类似，遵循幂律。我们还从分析和经验两方面表明，随着深度增加，该幂律的指数以线性速率增大。作为我们发现的直接应用，我们提出了一种执行知识蒸馏（KD）的方法。经典KD方法考虑教师网络的对数几率，而更新的方法通过考虑激活图在性能上取得飞跃。然而，这使用了适用于比较图像的度量。我们提议采用两个基于中间激活图谱性质的额外损失项。所提方法在多个图像识别KD基准上取得了最先进的结果。
引用
@article{arxiv.2106.00368,
title = {Natural Statistics of Network Activations and Implications for Knowledge Distillation},
author = {Michael Rotman and Lior Wolf},
journal= {arXiv preprint arXiv:2106.00368},
year = {2021}
}
备注
Accepted to ICIP 2021