通过充分利用潜在权重改进二值神经网络
计算机视觉与模式识别
2021-10-13 v1
摘要
二值神经网络（Binary Neural Networks, BNNs）依赖一个实值辅助变量 W 来辅助二值训练。然而，开创性的二值工作仅将 W 用于反向传播期间累积梯度更新，这无法充分发挥其作用，并可能阻碍 BNN 的新进展。本文中，我们探究了 W 除作为潜在变量外在训练中的角色。具体而言，我们提出将 W 加入计算图，使其充当实值特征提取器以辅助二值训练。我们就如何利用实值权重进行了不同尝试，并提出了一种专门的监督方式。可视化实验定性验证了我们的方法在使不同类别更易区分上的有效性。定量实验表明，我们的方法优于当前最优方法，进一步缩小了浮点网络与 BNN 之间的性能差距。在 ImageNet 上使用 ResNet-18（Top-1 63.4%）、ResNet-34（Top-1 67.0%）的评估取得了新的最优结果。
引用
@article{arxiv.2110.05850,
title = {Improving Binary Neural Networks through Fully Utilizing Latent Weights},
author = {Weixiang Xu and Qiang Chen and Xiangyu He and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:2110.05850},
year = {2021}
}