BPGrad：通过分支与剪枝实现深度学习全局最优
机器学习
2017-11-21 v1 计算机视觉与模式识别
机器学习
摘要
理解深度学习（DL）中的全局最优性近来正吸引越来越多的关注。然而，传统的DL求解器并非有意开发以寻求此类全局最优性。本文提出一种新颖的近似算法BPGrad，通过分支与剪枝全局优化深度模型。我们的BPGrad算法基于DL中Lipschitz连续性的假设，因此它能根据先前更新的历史自适应确定当前梯度的步长，理论上没有更小的步长能达到全局最优。我们证明，通过重复此种分支与剪枝过程，可在有限次迭代内定位全局最优性。经验上，我们也提出了一种基于BPGrad的高效DL求解器，其在目标识别、检测与分割任务中优于Adagrad、Adadelta、RMSProp和Adam等传统DL求解器。
引用
@article{arxiv.1711.06959,
title = {BPGrad: Towards Global Optimality in Deep Learning via Branch and Pruning},
author = {Ziming Zhang and Yuanwei Wu and Guanghui Wang},
journal= {arXiv preprint arXiv:1711.06959},
year = {2017}
}