面向超分辨率的 QuantNAS：搜索抗量化噪声的高效量化友好架构
计算机视觉与模式识别
2024-01-11 v4
摘要
对于图像超分辨率而言，对高性能且计算高效的神经网络模型存在持续需求：计算高效的模型可通过低容量设备使用并减少碳足迹。获得此类模型的一种方法是压缩模型，例如量化。另一种方法是神经架构搜索，其自动发现新的更高效方案。我们提出一种新颖的量化感知流程 QuantNAS，其结合了这两种方法的优势。为使 QuantNAS 生效，该流程寻找量化友好的超分辨率模型。该方法利用熵正则化、量化噪声以及自适应量化偏差（ADQ）模块来增强搜索过程。熵正则化技术在每个搜索空间块内优先单一操作。向参数和激活添加量化噪声可近似量化后的模型退化，从而得到更量化友好的架构。ADQ 有助于缓解超分辨率模型中批归一化块所引起的问题。我们的实验结果表明，所提近似比直接模型量化更利于搜索过程。QuantNAS 发现的架构在 PSNR/BitOps 权衡上优于固定架构的均匀或混合精度量化。我们通过将其应用于受最先进 SR 模型和 RFDN 启发的两个搜索空间来展示方法的有效性。因此，任何人都可以基于现有架构设计合适的搜索空间，并应用我们的方法以获得更优的质量与效率。所提流程比直接权重量化快 30\% 且更稳定。
引用
@article{arxiv.2208.14839,
title = {QuantNAS for super resolution: searching for efficient quantization-friendly architectures against quantization noise},
author = {Egor Shvetsov and Dmitry Osin and Alexey Zaytsev and Ivan Koryakovskiy and Valentin Buchnev and Ilya Trofimov and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2208.14839},
year = {2024}
}