用于训练 Tikhonov 正则化深度神经网络的交替块坐标下降法
机器学习
2017-11-21 v1 计算机视觉与模式识别
机器学习
摘要
通过将 ReLU 函数提升至高维空间，我们为训练前馈深度神经网络（DNNs）建立了一种光滑的多凸表述。这使我们能够开发一种块坐标下降（BCD）训练算法，该算法由一系列数值性质良好的凸优化组成。利用凸分析中邻近点方法的思想，我们证明该 BCD 算法将全局收敛到具有一阶 R-线性收敛率的驻点。在使用 MNIST 数据库的实验中，用该 BCD 算法训练的 DNN 始终比通过 Caffe 工具箱中所有随机梯度下降（SGD）变体训练的相同 DNN 架构产生更好的测试集错误率。
引用
@article{arxiv.1711.07354,
title = {Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks},
author = {Ziming Zhang and Matthew Brand},
journal= {arXiv preprint arXiv:1711.07354},
year = {2017}
}
备注
NIPS 2017