BiPer：使用周期函数的二值神经网络
计算机视觉与模式识别
2024-04-02 v1
摘要
量化神经网络对权重和激活都使用降低精度的表示。这种量化过程显著降低了网络的内存需求和计算复杂度。二值神经网络是极端的量化情况，仅用一位表示值。由于通常使用符号函数将实数值映射到二值，因此在误差反向传播过程中引入了平滑近似来模拟梯度。因此，前向和反向模型之间的不匹配破坏了梯度的方向，导致训练不一致问题和性能下降。与当前的二值神经网络方法不同，我们提出在二值化过程中使用二值周期函数。具体来说，我们在前向传播中使用方波来获得二值，并在反向传播中使用与方波同周期的三角正弦函数作为可微替代。我们证明，这种方法可以通过周期函数的频率控制量化误差，并提高网络性能。大量实验验证了BiPer在基准数据集和网络架构上的有效性，在CIFAR-10和ImageNet的分类任务上，相对于最先进方法分别提升了高达1%和0.69%。我们的代码公开在 https://github.com/edmav4/BiPer。
引用
@article{arxiv.2404.01278,
title = {BiPer: Binary Neural Networks using a Periodic Function},
author = {Edwin Vargas and Claudia Correa and Carlos Hinojosa and Henry Arguello},
journal= {arXiv preprint arXiv:2404.01278},
year = {2024}
}