具有层级优先级的灵活网络二值化
计算机视觉与模式识别
2018-02-19 v3
摘要
如何有效地用二进制码近似实值参数在神经网络二值化中起着核心作用。本工作中，我们揭示了一个重要事实：对不同的层进行二值化对网络压缩比和性能损失的影响差异很大。基于此事实，我们提出一种新颖灵活的神经网络二值化方法，引入层级优先级概念，按层深度逆序对参数进行二值化。在每个训练步骤，我们的方法选择一个特定网络层，最小化原始实值权重与其二值近似之间的差异，并相应地微调整个网络。在上述过程迭代中，重要的是我们可以灵活决定是否对剩余浮点层进行二值化，并探索性能损失与模型压缩比之间的权衡。所得的二值网络应用于高效行人检测。在多个基准上的大量实验结果表明，在相同压缩比下，我们的方法比最先进的神经网络二值化方法实现了更低的漏检率和更快的检测速度。
引用
@article{arxiv.1709.04344,
title = {Flexible Network Binarization with Layer-wise Priority},
author = {Lixue Zhuang and Yi Xu and Bingbing Ni and Hongteng Xu},
journal= {arXiv preprint arXiv:1709.04344},
year = {2018}
}
备注
More experiments on image classification are planned