通用加法器神经网络
计算机视觉与模式识别
2021-06-30 v5
摘要
与廉价的加法操作相比，乘法操作具有更高的计算复杂度。深度神经网络中广泛使用的卷积正是通过互相关来衡量输入特征与卷积滤波器之间的相似性，其中涉及浮点值之间大量的乘法。本文中，我们提出加法器网络（AdderNets），将深度神经网络尤其是卷积神经网络（CNNs）中这些大量的乘法替换为更廉价的加法，以降低计算成本。在AdderNets中，我们取滤波器与输入特征之间的-范数距离作为输出响应。我们首先为AdderNets建立了理论基础，证明了具有ReLU激活函数的单隐藏层AdderNet和宽度有界的深度AdderNet都是通用函数逼近器。我们还给出了单隐藏层AdderNets的逼近界。我们进一步分析了这一新相似性度量对神经网络优化的影响，并提出了一种针对AdderNets的特殊训练方案。基于梯度幅值，我们提出了一种自适应学习率策略以增强AdderNets的训练过程。AdderNets在ImageNet数据集上利用ResNet-50可在卷积层中无任何乘法的情况下达到75.7%的Top-1准确率和92.3%的Top-5准确率。
引用
@article{arxiv.2105.14202,
title = {Universal Adder Neural Networks},
author = {Hanting Chen and Yunhe Wang and Chang Xu and Chao Xu and Chunjing Xu and Tong Zhang},
journal= {arXiv preprint arXiv:2105.14202},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1912.13200