ShiftAddAug：以混合计算增强无乘法微型神经网络
机器学习
2024-07-04 v1 人工智能
计算机视觉与模式识别
摘要
缺乏乘法的算子，如移位和加法，因其与硬件的兼容性而备受关注。然而，采用这些算子的神经网络（NN）与具有相同结构的传统神经网络相比，通常表现出较低的准确率。ShiftAddAug 使用昂贵的乘法来增强高效但能力较弱的无乘法算子，在不增加任何推理开销的情况下提升性能。它将一个 ShiftAdd 微型神经网络放入一个大型乘法模型中，并鼓励其作为子模型进行训练以获得额外的监督。为了解决混合算子之间的权重差异问题，提出了一种新的权重共享方法。此外，采用了一种新颖的两阶段神经架构搜索，为更小但更强的无乘法微型神经网络获取更好的增强效果。ShiftAddAug 的优越性通过图像分类和语义分割实验得到了验证，持续带来显著的提升。值得注意的是，在 CIFAR100 上，与直接训练的对应模型相比，其准确率提高了高达 4.95%，甚至超过了乘法神经网络的性能。
引用
@article{arxiv.2407.02881,
title = {ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation},
author = {Yipin Guo and Zihao Li and Yilin Lang and Qinyuan Ren},
journal= {arXiv preprint arXiv:2407.02881},
year = {2024}
}
备注
Accepted by 2024 CVPR Workshop : Efficient Deep Learning for Computer Vision