网络素描：利用深度 CNN 中的二值结构
神经与进化计算
2017-06-08 v1 计算机视觉与模式识别
摘要
具有深层架构的卷积神经网络（CNN）已大幅推动了计算机视觉任务的最前沿水平。然而，深层网络通常资源密集，因此难以部署在移动设备上。近来，具有二值权重的 CNN 向学界展示了引人注目的效率，但此类模型的精度在实践中通常不尽如人意。本文引入网络素描作为一种追求二值权重 CNN 的新技术，旨在实现更忠实的推理和更适合实际应用的权衡。我们的基本思想是直接在预训练的滤波器组中利用二值结构，并通过张量扩展生成二值权重模型。整个过程可视为从粗到细的模型逼近，类似于铅笔素描中勾勒轮廓和明暗着色的步骤。为进一步加速生成的模型（即素描），我们还提出了一种二值张量卷积的关联实现。实验结果表明，在 ImageNet 大规模分类任务上，AlexNet（或 ResNet）的适当素描以较大优势优于现有的二值权重模型，而网络参数所占用的内存仅略有增加。
引用
@article{arxiv.1706.02021,
title = {Network Sketching: Exploiting Binary Structure in Deep CNNs},
author = {Yiwen Guo and Anbang Yao and Hao Zhao and Yurong Chen},
journal= {arXiv preprint arXiv:1706.02021},
year = {2017}
}
备注
To appear in CVPR2017