深度神经网络的局部评判器训练
机器学习
2018-09-28 v2 机器学习
摘要
本文提出一种通过解除反向传播训练的层间依赖来训练深度神经网络的新方法。该方法除待训练的主网络模型外,引入称为局部评判器网络(local critic networks)的附加模块,用于在不进行完整前馈与反向传播过程的情况下获取误差梯度。我们为这些局部网络提出一种级联学习策略。此外,该方法从多模型视角亦具价值,包括神经网络结构优化、计算高效渐进推理以及用于性能提升的集成分类。实验结果表明了所提方法的有效性,并给出了确定合适算法参数的指导原则。
引用
@article{arxiv.1805.01128,
title = {Local Critic Training of Deep Neural Networks},
author = {Hojung Lee and Jong-seok Lee},
journal= {arXiv preprint arXiv:1805.01128},
year = {2018}
}