即时学习：并行深度神经网络与卷积自举
机器学习
2016-05-24 v2
摘要
尽管深度神经网络(DNN)能够随计算能力(如内存和处理速度)的直接提升而扩展，但它们并不善于利用近期并行架构的趋势。特别地，梯度下降是一个顺序过程，由此产生的串行依赖意味着 DNN 训练无法有效并行化。在此，我们展示可将 DNN 复制于大规模并行架构上，并用于对局部解空间进行累积采样，从而实现快速且鲁棒的学习。我们引入一种互补的卷积自举方法，进一步增强了并行架构的性能。我们的并行化卷积自举 DNN 仅经过单次训练迭代便优于一个相同的全训练传统 DNN。
引用
@article{arxiv.1505.05972,
title = {Instant Learning: Parallel Deep Neural Networks and Convolutional Bootstrapping},
author = {Andrew J. R. Simpson},
journal= {arXiv preprint arXiv:1505.05972},
year = {2016}
}