Bop及其超越：一种用于二值神经网络的二阶优化器
计算机视觉与模式识别
2021-11-16 v1
摘要
二值神经网络（BNN）的优化依赖于用二值化表示近似实值权重。当前的权重更新技术采用与传统神经网络（NN）相同的方法，并额外要求使用符号函数导数的近似——因其为狄拉克δ函数——用于反向传播；因此，研究集中于调整全精度技术以适用于BNN。文献中仅有一项前期工作通过利用梯度的第一原始矩估计并与阈值比较以决定何时翻转权重（Bop），直接以位翻转训练BNN。本文采取与Adam平行的方法，在与第一原始矩比较阈值前亦使用第二原始矩估计对其进行归一化，称此方法为Bop2ndOrder。我们给出所提优化器的两个版本：有偏版与偏差校正版，各有其应用。此外，我们给出超参数空间的完整消融研究，以及调度器对各自的影响。这些研究中，我们在CIFAR10上使用BinaryNet架构测试优化器，并在ImageNet 2012上使用XnorNet与BiRealNet架构测试准确率。两数据集上，我们的方法均收敛更快、对超参数变化鲁棒，并取得更优准确率。
引用
@article{arxiv.2104.05124,
title = {A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks},
author = {Cuauhtemoc Daniel Suarez-Ramirez and Miguel Gonzalez-Mendoza and Leonardo Chang-Fernandez and Gilberto Ochoa-Ruiz and Mario Alberto Duran-Vega},
journal= {arXiv preprint arXiv:2104.05124},
year = {2021}
}
备注
9 pages, 12 figures, Preprint accepted to the LatinX in CV Research Workshop at CVPR'21