OvSW：克服沉默权重以实现准确的二进制神经网络
计算机视觉与模式识别
2024-07-09 v1 人工智能
摘要
二进制神经网络 (BNN) 已被证明在移动和嵌入式平台上部署深度神经网络具有高度效能。目前大多数研究聚焦于最小化量化误差、提升表征能力或设计梯度近似以缓解 BNN 中的梯度不匹配问题，而未触及实现强大 BNN 的关键因素——权重符号翻转。本文探讨权重符号更新的效率问题。我们观察到，对基础 BNN 而言，超过 50% 的权重在训练期间保持其符号不变，这些权重不仅分布在权重分布的尾部，也普遍存在于接近零的区域。我们将这些权重称为“沉默权重”，它们会减慢收敛速度并导致显著精度下降。理论上，我们揭示这源于 BNN 梯度独立于潜在权重分布的事实。为解决此问题，我们提出克服沉默权重 (OvSW)。OvSW 首先采用自适应梯度缩放 (AGS) 建立梯度与潜在权重分布之间的关系，从而提升权重符号更新的整体效率。此外，我们设计沉默意识衰减 (SAD) 通过跟踪权重翻转状态自动识别“沉默权重”，并对其施加额外惩罚以促进其翻转。通过高效更新权重符号，我们的方法在 CIFAR10 和 ImageNet1K 数据集上实现了更快的收敛速度和最新水平性能。例如，OvSW 在使用对数化 ResNet18 和 ResNet34 架构在 ImageNet1K 上分别获得 61.6% 和 65.5% 的 Top-1 准确率。代码已公开于 \url{https://github.com/JingyangXiang/OvSW}。
引用
@article{arxiv.2407.05257,
title = {OvSW: Overcoming Silent Weights for Accurate Binary Neural Networks},
author = {Jingyang Xiang and Zuohui Chen and Siqi Li and Qing Wu and Yong Liu},
journal= {arXiv preprint arXiv:2407.05257},
year = {2024}
}
备注
Accepted by the 18th European Conference on Computer Vision (ECCV 2024)