量化何以改善泛化：二值权重神经网络的 NTK 分析
机器学习
2022-06-14 v1
摘要
量化神经网络因在推理时降低空间与计算复杂度而备受关注。此外，业界素有量化充当隐式正则化器从而可改善神经网络泛化能力的说法，然尚无现有工作将这一有趣说法形式化。本文中，我们将神经网络中的二值权重视为随机舍入下的随机变量，并研究其在网络各层间的分布传播。我们提出拟神经网络以近似该分布传播，其为具有连续参数与平滑激活函数的神经网络。我们推导此拟神经网络的神经正切核（NTK），并展示 NTK 的特征值以近似指数速率衰减，可与具随机尺度的高斯核相比拟。这转而表明二值权重神经网络的再生核希尔伯特空间（RKHS）相较实值权重网络覆盖一个严格的函数子集。我们用实验验证所提拟神经网络能良好近似二值权重神经网络。此外，二值权重神经网络相较实值权重神经网络给出更低的泛化差距，类似于高斯核与拉普拉斯核间的差异。
引用
@article{arxiv.2206.05916,
title = {Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks},
author = {Kaiqi Zhang and Ming Yin and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2206.05916},
year = {2022}
}
备注
44 pages, 4 figures