利用 WTA 哈希加速大规模分类的神经网络
计算机视觉与模式识别
2015-04-29 v1
摘要
本文提出使用胜者通吃（Winner Takes All）哈希技术来加速卷积神经网络中全连接层的前向传播和后向传播。所提出的技术显著降低了计算复杂度，从而使我们能够在不带来相关时间惩罚的情况下训练具有大量卷积核的层。因此，我们能够以仅小幅增加计算成本的方式，在非常大的输出类别数量上训练卷积神经网络。为了展示该技术的有效性，我们在预训练网络上使用常规乘法方法和所提出的哈希方法分别训练了一个新的输出层。结果表明性能没有下降，并且我们的实现展示了训练过程中 7 倍的加速。
引用
@article{arxiv.1504.07488,
title = {Speeding Up Neural Networks for Large Scale Classification using WTA Hashing},
author = {Amir H. Bakhtiary and Agata Lapedriza and David Masip},
journal= {arXiv preprint arXiv:1504.07488},
year = {2015}
}
备注
9 pages, 9 figures, 1 table