权重进化：通过进化劣势权重值改进深度神经网络训练
计算机视觉与模式识别
2021-10-12 v1
摘要
为获得良好性能，卷积神经网络通常进行过参数化。这一现象激发了两个有趣的话题：剪枝不重要权重以压缩模型，以及重新激活不重要权重以充分利用网络能力。然而，当前的权重重新激活方法通常重新激活整个滤波器，可能不够精确。回顾历史，滤波器剪枝的盛行主要源于其对硬件实现的友好性，但在更细的结构层级（即权重元素）上进行剪枝通常能带来更好的网络性能。本文研究权重元素重新激活问题。受进化启发，我们选择不重要滤波器，并将其不重要元素与重要滤波器的重要元素相结合进行更新，如同基因交叉产生更优后代，所提方法称为权重进化（WE）。WE主要由四种策略构成。我们提出一种全局选择策略和一种局部选择策略并将其结合以定位不重要滤波器；提出一种前向匹配策略以找到匹配的重要滤波器，并提出一种交叉策略以利用重要滤波器的重要元素来更新不重要滤波器。WE可插拔至现有网络架构。综合实验表明，在典型卷积神经网络（尤其是轻量级网络）上，WE优于其他重新激活方法与插桩训练方法。我们的代码见 https://github.com/BZQLin/Weight-evolution。
引用
@article{arxiv.2110.04492,
title = {Weight Evolution: Improving Deep Neural Networks Training through Evolving Inferior Weight Values},
author = {Zhenquan Lin and Kailing Guo and Xiaofen Xing and Xiangmin Xu},
journal= {arXiv preprint arXiv:2110.04492},
year = {2021}
}
备注
This paper is accepted by ACM Multimedia 2021