加性噪声退火与量化神经网络的逼近性质
机器学习
2019-05-29 v1 计算机视觉与模式识别
机器学习
摘要
我们对人工神经网络的量化问题进行了理论与实验研究。我们给出了量化神经网络的数学定义并分析了其逼近能力，特别证明了超立方体上任意Lipschitz连续映射均可被量化神经网络一致逼近。随后我们聚焦于加性噪声对连续变量量化所固有的多步函数自变量的正则化效应。特别地，当期望算子作用于不可微的多步随机函数，且底层概率密度可微（以经典或弱意义）时，可恢复出一个可微函数，并给出其Lipschitz常数的显式界。基于这些结果，我们提出了一种新颖的基于梯度的量化神经网络训练算法，它推广了直通估计器，作用于施加于网络参数的噪声上。我们在CIFAR-10和ImageNet图像分类基准上评估了我们的算法，在三值网络上对AlexNet和MobileNetV2展示了SOTA性能。
引用
@article{arxiv.1905.10452,
title = {Additive Noise Annealing and Approximation Properties of Quantized Neural Networks},
author = {Matteo Spallanzani and Lukas Cavigelli and Gian Paolo Leonardi and Marko Bertogna and Luca Benini},
journal= {arXiv preprint arXiv:1905.10452},
year = {2019}
}