BinaryDuo：通过耦合二值激活降低二值激活网络中的梯度失配
机器学习
2020-02-18 v1 机器学习
摘要
二值神经网络（BNNs）因计算成本降低与内存节省而受到关注。然而，BNNs 主要因激活二值化引起的梯度失配而性能下降。以往工作试图通过减小前向传播所用激活函数与其反向传播所用可微近似之间的差异（一种间接度量）来解决梯度失配问题。本工作中，我们利用平滑损失函数的梯度更好地估计量化神经网络中的梯度失配。基于该梯度失配估计器的分析表明，使用更高精度的激活比修改激活函数的可微近似更有效。基于该观察，我们提出一种用于二值激活网络的新训练方案，称为 BinaryDuo，其中两个二值激活在训练期间耦合为一个三元激活。实验结果表明，在参数量与计算成本相同的情况下，BinaryDuo 在各种基准上优于最先进的 BNNs。
引用
@article{arxiv.2002.06517,
title = {BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations},
author = {Hyungjun Kim and Kyungsu Kim and Jinseok Kim and Jae-Joon Kim},
journal= {arXiv preprint arXiv:2002.06517},
year = {2020}
}