联合神经架构搜索与量化
计算机视觉与模式识别
2018-11-26 v1 机器学习
摘要
设计神经架构是深度学习应用中的基础步骤。作为配套技术，神经网络上的模型压缩已被广泛研究，以满足深度学习算法能在移动设备有限计算资源上运行的需求。当前，架构设计与模型压缩两项任务均需专家技巧与繁琐试错。本文中，我们将这两个任务整合进一个统一框架，实现了神经网络的联合架构搜索与量化（压缩）策略。该方法被命名为JASQ。我们的目标在此是自动寻找适合移动设备的高性能紧凑神经网络模型。在技术上，引入多目标进化搜索算法，在模型大小与性能精度之间平衡地搜索模型。实验中，我们发现该方法优于仅搜索架构或仅搜索量化策略的方法。1）具体而言，对已有网络，我们的方法可为它们提供基于学习的量化策略，并优于其2位、4位、8位和16位对应版本。它能取得比浮点模型更高的精度，例如在MobileNet-v1上精度高出1.02%。2）此外，在模型大小与性能精度平衡下，通过架构与量化策略的联合搜索得到两个模型：一个高精度模型和一个小模型，即JASQNet与JASQNet-Small，后者在CIFAR-10上以0.9 MB取得2.97%的错误率。
引用
@article{arxiv.1811.09426,
title = {Joint Neural Architecture Search and Quantization},
author = {Yukang Chen and Gaofeng Meng and Qian Zhang and Xinbang Zhang and Liangchen Song and Shiming Xiang and Chunhong Pan},
journal= {arXiv preprint arXiv:1811.09426},
year = {2018}
}