通用可瘦网络及改进的训练技术
计算机视觉与模式识别
2019-10-22 v2 人工智能
摘要
可瘦网络是一类可即时调整运行宽度的人工神经网络。宽度可从预定义宽度集中选取，以在运行时自适应地优化精度-效率权衡。本文中，我们提出一种系统性方法来训练通用可瘦网络（US-Nets），将可瘦网络扩展至任意宽度下执行，并推广到含与不含批归一化层的网络。我们进一步提出两种用于US-Nets的改进训练技术，称为三明治法则和原位蒸馏，以增强训练过程并提升测试精度。我们展示了通用可瘦的MobileNet v1和MobileNet v2在ImageNet分类任务上相较独立训练网络及4档可瘦网络基线的性能提升。我们还在图像超分辨率和深度强化学习任务上评估了所提出的US-Nets与改进训练技术。在这些代表性任务上的大量消融实验证明了我们所提方法的有效性。我们的发现开启了直接评估网络架构FLOPs-精度谱的可能性。代码与模型见：https://github.com/JiahuiYu/slimmable_networks
引用
@article{arxiv.1903.05134,
title = {Universally Slimmable Networks and Improved Training Techniques},
author = {Jiahui Yu and Thomas Huang},
journal= {arXiv preprint arXiv:1903.05134},
year = {2019}
}
备注
Accepted in ICCV 2019