通过建模上下文依赖实现精确二值神经网络
计算机视觉与模式识别
2022-09-07 v1
摘要
现有二值神经网络（BNNs）主要在带有二值化函数的局部卷积上操作。然而，此类简单的位运算缺乏建模上下文依赖的能力，而该能力对于视觉模型中学习有区分力的深度表示至关重要。在本工作中，我们提出二值神经模块的新设计来解决此问题，使 BNNs 能够学习有效的上下文依赖。首先，我们提出一个二值多层感知机（MLP）块作为二值卷积块的替代，以直接建模上下文依赖。短程与长程特征依赖均由二值 MLPs 建模，前者提供局部归纳偏置，后者打破了二值卷积中受限的感受野。其次，为提升具有上下文依赖的二值模型的鲁棒性，我们计算上下文动态嵌入以确定一般二值卷积块中的二值化阈值。借助我们的二值 MLP 块与改进二值卷积，我们构建了具有显式上下文依赖建模的 BNNs，称为 BCDNet。在标准 ImageNet-1K 分类基准上，BCDNet 取得了 72.3% 的 Top-1 准确率，并大幅优于领先的二值方法。特别地，所提 BCDNet 以相近的计算量超越当前最优的 ReActNet-A 达 2.9% 的 Top-1 准确率。我们的代码见 https://github.com/Sense-GVT/BCDN
引用
@article{arxiv.2209.01404,
title = {Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies},
author = {Xingrun Xing and Yangguang Li and Wei Li and Wenrui Ding and Yalong Jiang and Yufeng Wang and Jing Shao and Chunlei Liu and Xianglong Liu},
journal= {arXiv preprint arXiv:2209.01404},
year = {2022}
}
备注
Accepted by ECCV2022