通过分类进行二值化:软函数真的必要吗?

二值神经网络利用 $\mathrm{Sign}$ 函数将权重和激活二值化,这需要梯度估计器来克服其不可微性,并不可避免地会在反向传播中带来梯度误差。尽管已有许多手工设计的软函数作为梯度估计器被提出以更好地近似梯度,但其机制尚不清楚,且二值模型与其全精度对应模型之间仍存在巨大性能差距。为解决这些问题并减小梯度误差,我们提出将网络二值化视为一个二分类问题,并使用多层感知机(MLP)作为前向传播中的分类器和反向传播中的梯度估计器。得益于 MLP 在理论上拟合任意连续函数的能力,它可以在无需任何软函数先验知识的情况下自适应地学习二值化网络并反向传播梯度。从这一视角,我们进一步通过实验证明,即便一个简单的线性函数也能超越以往复杂的软函数。大量实验表明,所提方法在图像分类和人体姿态估计任务中均带来惊人性能。具体而言,我们在 ImageNet 数据集上以 ResNet-34 取得 $65.7\%$ 的 top-1 准确率,绝对提升 $2.6\%$。此外,我们将二值化作为姿态估计模型的轻量化方法,提出精心设计的二值姿态估计网络 SBPN 和 BHRNet。在具有挑战性的 Microsoft COCO 关键点数据集上评估时,所提方法使二值网络首次达到最高 $60.6$ 的 mAP。在真实平台上的实验表明,BNN 在性能与计算复杂度之间取得了更好平衡,尤其在计算资源极度受限时。