从哈希到 CNN:通过哈希训练二值权重网络
计算机视觉与模式识别
2018-02-09 v1
摘要
近年来,深度卷积神经网络(CNNs)在各种计算机视觉任务上展现出引人注目的性能。这促使人们将 CNNs 部署到现实世界应用中。然而,大多数最先进的 CNNs 需要大量内存和计算资源,阻碍了在移动设备上的部署。近期研究表明,低比特权重表示可大幅降低存储与内存需求,并能实现高效的网络推理。为实现此目标,我们提出一种名为 BWNH 的新方法,通过哈希训练二值权重网络(Binary Weight Networks)。本文中,我们首先揭示了内积保持哈希与二值权重网络之间的强关联,并指出训练二值权重网络本质上可视为一个哈希问题。基于此视角,我们提出一种交替优化方法来学习哈希码,而非直接学习二值权重。在 CIFAR10、CIFAR100 和 ImageNet 上的大量实验表明,我们提出的 BWNH 大幅优于当前最先进水平。
引用
@article{arxiv.1802.02733,
title = {From Hashing to CNNs: Training BinaryWeight Networks via Hashing},
author = {Qinghao Hu and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:1802.02733},
year = {2018}
}