DECORE：基于强化学习的深度压缩方法
机器学习
2022-02-14 v2 人工智能
摘要
深度学习已成为现代模式识别系统中日益流行且强大的方法。然而，许多深度神经网络拥有数百万甚至数十亿参数，由于内存大小或延迟要求的限制，使其难以在现实应用中部署。因此，深度学习方法的广泛应用往往离不开高效的网络压缩技术。我们提出 DECORE，一种基于强化学习的方法来自动化网络压缩过程。DECORE 为网络中的每个通道分配一个智能体，并采用轻量级策略梯度方法来学习保留或移除哪些神经元或通道。网络中每个智能体仅需学习一个参数（保留或丢弃），与现有方法相比训练过程大幅加快。DECORE 在各种网络架构和数据集上取得了最先进的压缩结果。例如，在 ResNet-110 架构上，与基线模型相比，在 CIFAR-10 数据集上无任何精度损失的情况下实现了 64.8% 的压缩率和 61.8% 的 FLOPs 降低。它可将 VGG 网络等常规架构的规模缩减高达 99%，仅带来 2.28% 的微小精度下降。对于 ImageNet 等更大数据集，仅训练 30 个 epoch，即可将 ResNet-50 架构压缩 44.7%、FLOPs 降低 42.3%，未压缩模型的 Top-5 精度仅下降 0.69%。我们还展示了 DECORE 可用于基于内存和 FLOPs 等各种约束搜索压缩网络架构。
引用
@article{arxiv.2106.06091,
title = {DECORE: Deep Compression with Reinforcement Learning},
author = {Manoj Alwani and Yang Wang and Vashisht Madhavan},
journal= {arXiv preprint arXiv:2106.06091},
year = {2022}
}