通过分支定界训练深度神经网络
计算机视觉与模式识别
2021-10-26 v2
摘要
本文中，我们提出 BPGrad，一种基于分支定界对可行域进行自适应估计的深度神经网络训练新型近似算法。该方法基于目标函数的 Lipschitz 连续性假设，因此可根据先前更新的历史自适应确定当前梯度的步长。我们证明，通过重复此类分支与剪枝过程，它能在有限次迭代内达到最优解。我们提出了一种基于 BPGrad 的计算高效求解器来训练深度神经网络。实证结果表明，BPGrad 求解器在实践中表现良好，并在目标识别、检测与分割任务上优于其他随机优化方法。代码见 \url{https://github.com/RyanCV/BPGrad}。
引用
@article{arxiv.2104.01730,
title = {Training Deep Neural Networks via Branch-and-Bound},
author = {Yuanwei Wu and Ziming Zhang and Guanghui Wang},
journal= {arXiv preprint arXiv:2104.01730},
year = {2021}
}
备注
29 pages, 17 figures. arXiv admin note: substantial text overlap with arXiv:1711.06959