用于二值卷积神经网络的蒸馏引导残差学习
计算机视觉与模式识别
2020-07-28 v2
摘要
缩小二值CNN（BCNN）与浮点CNN（FCNN）之间的性能差距具有挑战性。我们观察到，这一性能差距导致BCNN与FCNN的中间特征图之间存在显著残差。为最小化性能差距，我们强制BCNN产生与FCNN相似的中间特征图。该训练策略，即利用源自FCNN的块级蒸馏损失优化每个二值卷积块，实现了对BCNN更有效的优化。它也促使我们更新二值卷积块架构，以 facilitat 块级蒸馏损失的优化。具体而言，我们在每个二值卷积块中插入一个轻量级捷径分支，以补充各块的残差。得益于其压缩与交互（SI）结构，该捷径分支仅引入少量参数（例如10%的开销），却能有效补充残差。在ImageNet上的大量实验证明了我们的方法在分类效率与准确率上的优越性能，例如，采用我们方法训练的BCNN在ImageNet上达到了60.45%的准确率。
引用
@article{arxiv.2007.05223,
title = {Distillation Guided Residual Learning for Binary Convolutional Neural Networks},
author = {Jianming Ye and Shiliang Zhang and Jingdong Wang},
journal= {arXiv preprint arXiv:2007.05223},
year = {2020}
}