通过熵最小化强化学习剪枝卷积滤波器
机器学习
2023-12-11 v1
摘要
结构剪枝已成为神经网络优化的一个组成部分，用于实现可在嵌入式设备上更高效部署和运行的架构配置。先前的结果表明，通过利用强化学习智能体，以最大化网络精度作为奖励来决定每个神经层的稀疏度水平，可以在性能损失最小的情况下进行剪枝。我们引入了一种新颖的信息论奖励函数，该函数最小化卷积激活的空间熵。这种最小化最终作为保持精度的代理，尽管这两个标准没有任何关联。我们的方法表明，存在另一种无需在智能体的奖励函数中直接优化精度即可保持精度的可能性。在我们的实验中，我们能够将多个流行神经网络架构的总 FLOPS 减少 5-10 倍，性能下降极小或没有下降，并且与通过最大化精度找到的解决方案效果相当。
引用
@article{arxiv.2312.04918,
title = {Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization},
author = {Bogdan Musat and Razvan Andonie},
journal= {arXiv preprint arXiv:2312.04918},
year = {2023}
}