RicciNets：基于 Ricci 流曲率引导的高性能神经网络剪枝
机器学习
2020-07-09 v1 机器学习
摘要
提出了一种在训练前识别随机连接神经网络中显著计算路径的新方法。计算图基于由局部图测度定义的节点质量概率函数进行剪枝，并由基于强化学习的控制器神经网络产生的超参数加权。我们利用 Ricci 曲率的定义在计算图映射到神经网络之前移除低重要性边。我们展示了每次前向传播中浮点运算（FLOPs）数量减少近 ，且性能无退化。此外，我们的方法能够仅基于纯结构特性对随机连接神经网络进行正则化，并且发现一个网络中识别出的有利特性可泛化到其他网络。该方法在相似压缩度下产生比按最低量级权重剪枝的网络性能更好的网络。据我们所知，这是关于随机连接神经网络剪枝的首项工作，也是首次在剪枝机制中利用 Ricci 曲率的拓扑测度。
引用
@article{arxiv.2007.04216,
title = {RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow},
author = {Samuel Glass and Simeon Spasov and Pietro Liò},
journal= {arXiv preprint arXiv:2007.04216},
year = {2020}
}
备注
To appear at ICML 2020, AutoML Workshop. Contains 11 pages, 5 figures