面向二值神经网络的循环双线性优化
计算机视觉与模式识别
2022-09-07 v1
摘要
二值神经网络（BNNs）在真实嵌入式设备上展现出巨大前景。作为获得强大 BNN 的关键步骤之一，比例因子计算在缩小其与实值对应模型性能差距方面起着重要作用。然而，现有 BNN 忽视了实值权重与比例因子间的内在双线性关系，导致训练过程不充分而引起次优模型。为解决该问题，提出循环双线性优化，通过关联反向传播过程中的内在双线性变量来改进 BNN（RBONNs）的学习过程。我们的工作是从双线性视角优化 BNN 的首次尝试。具体地，我们采用循环优化与 Density-ReLU 顺序回溯稀疏实值权重滤波器，其将得到充分训练并基于可控学习过程达到性能极限。我们获得了鲁棒的 RBONNs，其在多种模型与数据集上表现出优于最先进 BNN 的令人印象深刻的性能。尤其在目标检测任务上，RBONNs 具有优异的泛化性能。我们的代码已开源：https://github.com/SteveTsui/RBONN 。
引用
@article{arxiv.2209.01542,
title = {Recurrent Bilinear Optimization for Binary Neural Networks},
author = {Sheng Xu and Yanjing Li and Tiancheng Wang and Teli Ma and Baochang Zhang and Peng Gao and Yu Qiao and Jinhu Lv and Guodong Guo},
journal= {arXiv preprint arXiv:2209.01542},
year = {2022}
}
备注
Accepted by ECCV 2022