GhostShiftAddNet：以高能效运算获取更多特征
机器学习
2022-02-07 v3 神经与进化计算
摘要
深度卷积神经网络（CNN）在计算和内存方面开销巨大。在 CNN 中，密集的乘法操作可能带来资源方面的负担，从而挑战在资源受限的边缘设备上进行高效推理部署的能力。本文提出 GhostShiftAddNet，其动机是实现一种硬件高效的深度网络：一种无乘法且冗余特征更少的 CNN。我们引入了一种新的瓶颈块 GhostSA，将该块中的所有乘法转换为廉价操作。该瓶颈使用适当数量的位移位滤波器来处理本征特征图，然后应用一系列由位级移位与加法操作组成的变换，以生成更多能够充分学习捕捉本征特征背后信息的特征图。我们针对不同的硬件平台调度位移位与加法操作的数量。我们利用桌面设备和嵌入式（Jetson Nano）设备进行了大量实验和消融研究，以完成实现与测量。我们证明所提出的 GhostSA 块可以替换最先进网络架构主干中的瓶颈块，并在图像分类基准上取得更好的性能。此外，与 GhostNet 相比，我们的 GhostShiftAddNet 可用更少的 FLOPs 和参数（最多减少 3 倍）实现更高的分类准确率。与 GhostNet 相比，Jetson Nano 上的推理延迟在 GPU 和 CPU 上分别提升了 1.3 倍和 2 倍。代码已在 \url{https://github.com/JIABI/GhostShiftAddNet} 开源。
引用
@article{arxiv.2109.09495,
title = {GhostShiftAddNet: More Features from Energy-Efficient Operations},
author = {Jia Bi and Jonathon Hare and Geoff V. Merrett},
journal= {arXiv preprint arXiv:2109.09495},
year = {2022}
}