AMC：面向移动端模型压缩与加速的 AutoML
计算机视觉与模式识别
2024-04-05 v4
摘要
模型压缩是在计算资源有限且功耗预算紧张的移动设备上高效部署神经网络模型的关键技术。传统的模型压缩技术依赖手工启发式方法和基于规则的策略，需要领域专家在模型大小、速度和精度之间权衡探索庞大的设计空间，这通常次优且耗时。本文中，我们提出用于模型压缩的 AutoML (AMC)，其利用强化学习提供模型压缩策略。这种基于学习的压缩策略相较传统基于规则的压缩策略具有更高压缩比、更好地保持精度并解放人力。在 4 倍 FLOPs 削减下，我们在 ImageNet 上对 VGG-16 取得了比手工模型压缩策略高 2.7% 的精度。我们将这一自动化、一键式压缩流程应用于 MobileNet，在 Android 手机上实现了实测推理延迟 1.81 倍加速，在 Titan XP GPU 上实现 1.43 倍加速，且仅损失 0.1% 的 ImageNet Top-1 精度。
引用
@article{arxiv.1802.03494,
title = {AMC: AutoML for Model Compression and Acceleration on Mobile Devices},
author = {Yihui He and Ji Lin and Zhijian Liu and Hanrui Wang and Li-Jia Li and Song Han},
journal= {arXiv preprint arXiv:1802.03494},
year = {2024}
}