理解带有前向和后向近端量化器的神经网络二值化
机器学习
2024-02-28 v1
摘要
在神经网络二值化中，BinaryConnect（BC）及其变体被认为是标准方法。这些方法在前向传播中应用符号函数，其各自的梯度被反向传播以更新权重。然而，符号函数的导数在定义处为零，因此会冻结训练。因此，BC的实现（例如BNN）通常在后向计算中用恒等函数或其他近似梯度替代符号函数的导数。尽管这种做法在经验上效果良好，但很大程度上是一种启发式或“训练技巧”。我们旨在从优化角度对这些训练技巧进行一些解释。基于现有的ProxConnect（PC，BC的推广）理论，我们（1）为PC配备不同的前向后向量化器，得到ProxConnect++（PC++），将现有的二值化技术作为特例包含在内；（2）推导出一种合成前向后向量化器的原则性方法，并自动提供理论保证；（3）通过提出一种增强的二值化算法BNN++来说明我们的理论；（4）在CNN和视觉Transformer上进行图像分类实验，并经验证BNN++在二值化这些模型时通常达到有竞争力的结果。
引用
@article{arxiv.2402.17710,
title = {Understanding Neural Network Binarization with Forward and Backward Proximal Quantizers},
author = {Yiwei Lu and Yaoliang Yu and Xinlin Li and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2402.17710},
year = {2024}
}
备注
Accepted to NeurIPS 2023