Joslim：可瘦身神经网络的宽度与权重联合优化
机器学习
2021-07-01 v4 计算机视觉与模式识别
机器学习
摘要
可瘦身神经网络在预测误差与计算需求（如浮点运算次数或 FLOPs）之间提供灵活的权衡前沿，且存储需求与单一模型相同。它们有助于减少将模型部署到具有不同内存约束设备上的维护开销，并有助于优化含多个 CNN 系统的效率。然而，现有可瘦身网络方法要么不优化逐层宽度，要么独立优化共享权重与逐层宽度，从而通过宽度与权重的联合优化留下了显著的改进空间。本工作中，我们提出一个通用框架以实现可瘦身网络宽度配置与权重的联合优化。我们的框架将常规及基于 NAS 的可瘦身方法作为特例涵盖，并提供超越现有方法的灵活性。从实践角度，我们提出 Joslim，一种联合优化可瘦身网络宽度与权重的算法，其在各类网络、数据集和目标上均优于现有的可瘦身网络优化方法。定量上，考虑 FLOPs 和内存占用时，MobileNetV2 在 ImageNet 数据集上 top-1 准确率分别可提升至多 1.7% 和 8%。我们的结果凸显了将不同层通道数与其权重联合优化用于可瘦身网络的潜力。代码见 https://github.com/cmu-enyac/Joslim。
引用
@article{arxiv.2007.11752,
title = {Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks},
author = {Ting-Wu Chin and Ari S. Morcos and Diana Marculescu},
journal= {arXiv preprint arXiv:2007.11752},
year = {2021}
}
备注
Accepted at ECML-PKDD 2021 (Research Track), 4-page abridged versions have been accepted at non-archival venues including RealML and DMMLSys workshops at ICML'20 and DLP-KDD and AdvML workshops at KDD'20