ShiftNAS：面向无乘法神经网络自动生成的前沿框架
机器学习
2022-04-12 v1
摘要
无乘法神经网络将计算密集的乘法替换为轻量的位移操作，显著降低了硬件平台上的时间与能耗开销。然而，现有的位移网络均直接迁移自最先进的卷积神经网络（CNNs），导致不可忽略的精度下降甚至模型无法收敛。为应对此问题，我们提出 ShiftNAS，这是首个将神经架构搜索（NAS）定制化以大幅缩小位移神经网络与其实值对应模型之间精度差距的框架。具体而言，我们开创性地将 NAS 引入面向位移的搜索空间，并赋予其鲁棒的拓扑相关搜索策略以及自定义正则化与稳定化机制。因此，我们的 ShiftNAS 突破了传统 NAS 方法对位移神经网络的不兼容性，在精度与收敛性上取得了更优性能。大量实验表明，ShiftNAS 为位移神经网络树立了新标杆（SOTA），在 CIFAR10 上精度提升 (1.69-8.07)%，在 CIFAR100 上提升 (5.71-18.09)%，在 ImageNet 上提升 (4.36-67.07)%，尤其在许多常规 CNN 使用位移权重在 ImageNet 上无法收敛时表现突出。
引用
@article{arxiv.2204.05113,
title = {ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks},
author = {Xiaoxuan Lou and Guowen Xu and Kangjie Chen and Guanlin Li and Jiwei Li and Tianwei Zhang},
journal= {arXiv preprint arXiv:2204.05113},
year = {2022}
}