SoFAr：面向二值卷积神经网络的基于捷径的分形架构
计算机视觉与模式识别
2020-09-14 v1
摘要
二值卷积神经网络（BCNNs）能显著提升深度卷积神经网络（DCNNs）的效率，便于部署在资源受限平台（如移动与嵌入式系统）。然而，与全精度对应网络相比，BCNNs 的精度下降仍相当可观，阻碍其实际部署。由于前向传播中不可避免的二值化误差与反向传播中的梯度失配问题，训练 BCNNs 达到满意精度并非易事。为缓解训练难度，基于捷径的 BCNNs（如基于残差连接的 Bi-real ResNet 与基于稠密连接的 BinaryDenseNet）在其全精度对应网络已有捷径之外引入额外捷径。此外，分形架构也已被用于改善全精度 DCNNs 的训练过程，因为分形结构触发类似深度监督与横向师生信息流的效果。受捷径与分形架构启发，我们提出两种专为 BCNNs 设计的基于捷径的分形架构（SoFAr）：1. 面向二值 ResNet 的基于残差连接的分形架构，以及 2. 面向二值 DenseNet 的基于稠密连接的分形架构。我们提出的 SoFAr 将捷径采用与分形架构结合于统一模型中，有助于 BCNNs 的训练。结果表明，相较基于捷径的 BCNNs，我们提出的 SoFAr 取得更优精度。具体而言，在 ImageNet 上我们提出的 RF-c4d8 ResNet37(41) 与 DRF-c2d2 DenseNet51(53) 的 Top-1 精度分别以相同计算复杂度开销超越 Bi-real ResNet18(64) 与 BinaryDenseNet51(32) 达 3.29% 与 1.41%。
引用
@article{arxiv.2009.05317,
title = {SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks},
author = {Zhu Baozhou and Peter Hofstee and Jinho Lee and Zaid Al-Ars},
journal= {arXiv preprint arXiv:2009.05317},
year = {2020}
}