用于监督哈希的极深度神经网络高效训练
计算机视觉与模式识别
2016-04-25 v2 机器学习
神经与进化计算
摘要
本文提出训练极深度神经网络(DNNs)用于哈希码的监督学习。现有方法在此背景下训练相对“浅”的网络，受限于反向传播中出现的问题（e.e. 梯度消失）以及计算效率。我们提出一种受交替方向乘子法(ADMM)启发的新型高效训练算法，克服了部分这些局限。我们的方法通过辅助变量将训练过程分解为独立的逐层局部更新。经验上我们观察到训练算法总是收敛，且其计算复杂度与网络中边数呈线性比例。经验上我们成功在单GPU上约3小时内训练了具有64个隐藏层和每层1024个节点的DNNs用于监督哈希。我们提出的极深度监督哈希(VDSH)方法在多个基准数据集上显著优于最先进水平。
引用
@article{arxiv.1511.04524,
title = {Efficient Training of Very Deep Neural Networks for Supervised Hashing},
author = {Ziming Zhang and Yuting Chen and Venkatesh Saligrama},
journal= {arXiv preprint arXiv:1511.04524},
year = {2016}
}