INSTA-BNN：具有实例感知阈值的二值神经网络
计算机视觉与模式识别
2023-10-20 v3 机器学习
摘要
二值神经网络（BNNs）已成为降低深度神经网络内存占用和计算开销的一种有前景的方案，但由于激活值和权重被约束为二值，缺乏自由度，其质量会下降。为弥补精度损失，我们提出了一种新颖的BNN设计，称为具有实例感知阈值的二值神经网络（INSTA-BNN），它以依赖于输入或实例感知的方式动态控制量化阈值。根据我们的观察，高阶统计量可作为估计输入分布特征的具有代表性的度量。INSTA-BNN设计为综合考虑包括高阶统计量在内的多种信息来动态调整阈值，同时也经过审慎优化以在真实设备上实现最小开销。我们广泛的研究表明，在ImageNet分类任务上，INSTA-BNN以可比的计算成本比基线高出3.0%和2.8%，在基于ResNet-18和MobileNetV1的模型上分别达到了68.5%和72.2%的top-1准确率。
引用
@article{arxiv.2204.07439,
title = {INSTA-BNN: Binary Neural Network with INSTAnce-aware Threshold},
author = {Changhun Lee and Hyungjun Kim and Eunhyeok Park and Jae-Joon Kim},
journal= {arXiv preprint arXiv:2204.07439},
year = {2023}
}
备注
Accepted at ICCV 2023