AutoSlim：面向通道数的一次性架构搜索
计算机视觉与模式识别
2019-06-04 v2 人工智能
摘要
我们研究如何在神经网络中设置通道数，以在受限资源（例如FLOPs、延迟、内存占用或模型大小）下获得更好的精度。提出了一个简单且一次性的解决方案，名为AutoSlim。我们不是训练许多网络样本并用强化学习搜索，而是训练一个单一的可瘦缩网络来近似不同通道配置下的网络精度。然后我们迭代地评估训练好的可瘦缩模型，并贪心地瘦缩精度下降最小的层。通过这一单次过程，我们可以在不同资源约束下获得优化的通道配置。我们在ImageNet分类上给出了使用MobileNet v1、MobileNet v2、ResNet-50和RL搜索的MNasNet的实验。我们展示了相比其默认通道配置的显著改进。我们也取得了比近期通道剪枝方法和神经架构搜索方法更好的精度。值得注意的是，通过设置优化通道数，我们的AutoSlim-MobileNet-v2在305M FLOPs下达到了74.2%的top-1精度，比默认MobileNet-v2（301M FLOPs）好2.4%，甚至比RL搜索的MNasNet（317M FLOPs）好0.2%。我们的AutoSlim-ResNet-50在570M FLOPs下，在没有深度可分离卷积的情况下，比MobileNet-v1（569M FLOPs）精度高1.3%。代码和模型将发布于：https://github.com/JiahuiYu/slimmable_networks
引用
@article{arxiv.1903.11728,
title = {AutoSlim: Towards One-Shot Architecture Search for Channel Numbers},
author = {Jiahui Yu and Thomas Huang},
journal= {arXiv preprint arXiv:1903.11728},
year = {2019}
}
备注
tech report