通过通道级阈值学习的动态二值神经网络
机器学习
2021-10-12 v1 图像与视频处理
摘要
二值神经网络（BNN）将权重和激活约束为+1或-1，具有有限的存储与计算开销，对便携设备友好。近来，BNNs取得了显著进展并被应用于多个领域。然而，BNNs的性能对激活分布敏感。现有BNNs利用带预定义或学习得到的静态阈值的Sign函数对激活进行二值化。该过程限制了BNNs的表示能力，因为不同样本可能适应于不等的阈值。为解决此问题，我们提出一种动态BNN（DyBNN），其引入了Sign函数的动态可学习通道级阈值与PReLU的位移参数。该方法将全局信息聚合进超函数中，有效提升了特征表达能力。实验结果证明，我们的方法是减少信息损失并增强BNNs性能的有效且直接的方式。基于ReActNet的两个骨干网络（MobileNetV1与ResNet18）的DyBNN在ImageNet数据集上分别取得71.2%与67.4%的top1准确率，大幅优于基线（即分别高出1.8%与1.5%）。
引用
@article{arxiv.2110.05185,
title = {Dynamic Binary Neural Network by learning channel-wise thresholds},
author = {Jiehua Zhang and Zhuo Su and Yanghe Feng and Xin Lu and Matti Pietikäinen and Li Liu},
journal= {arXiv preprint arXiv:2110.05185},
year = {2021}
}
备注
5 pages, 3 figures