SimQ-NAS：同步量化策略与神经网络架构搜索
机器学习
2023-12-22 v1 人工智能
摘要
近期的单次神经网络架构搜索算法依赖于训练针对特定任务定制的硬件无关超网络，然后为不同的硬件平台提取高效的子网络。流行的方法将超网络的训练与子网络的搜索分开，通常采用预测器来减轻与搜索相关的计算开销。此外，某些方法还将量化策略纳入搜索空间。然而，尽管卷积神经网络的量化策略搜索已被充分研究，但这些方法向Transformer乃至基础模型的扩展仍鲜有探讨。在本文中，我们证明，通过将多目标搜索算法与轻量训练的预测器相结合，我们能够高效地搜索子网络架构及相应的量化策略，并在准确率、模型大小和延迟等不同性能指标上超越各自的基线。具体而言，我们证明了我们的方法在单模态（ViT和BERT）和多模态（BEiT-3）基于Transformer的架构以及卷积架构（ResNet）上均表现良好。对于某些网络，我们展示了在延迟和模型大小上分别高达 和 的提升，且与全量化INT8基线相比准确率无下降。
引用
@article{arxiv.2312.13301,
title = {SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search},
author = {Sharath Nittur Sridhar and Maciej Szankin and Fang Chen and Sairam Sundaresan and Anthony Sarah},
journal= {arXiv preprint arXiv:2312.13301},
year = {2023}
}