极大代数算子在神经网络滤波选择与时模型剪枝中的应用
统计理论
2019-04-09 v2 计算机视觉与模式识别
机器学习
神经与进化计算
机器学习
统计理论
摘要
继形态学神经网络近期进展之后，我们提议更深入地研究如何借助极大代数（Max-plus）算子来定义形态学单元，以及将它们嵌入常规神经网络层时的行为。除表明其可利用现代机器学习框架轻松实现外，我们确认并扩展了如下观察：极大代数层可用于选择重要滤波器并降低其前一层中的冗余，且不造成性能损失。实验结果表明，由极大代数启用的滤波器选择策略高效且鲁棒，借此我们在不同神经网络架构上成功进行了模型剪枝。我们还通过比较各自特性指出，Maxout 网络与我们剪枝后的极大代数网络之间存在紧密联系。用于复现实验的代码已在线提供。
引用
@article{arxiv.1903.08072,
title = {Max-plus Operators Applied to Filter Selection and Model Pruning in Neural Networks},
author = {Yunxiang Zhang and Samy Blusseau and Santiago Velasco-Forero and Isabelle Bloch and Jesus Angulo},
journal= {arXiv preprint arXiv:1903.08072},
year = {2019}
}