用于深度神经网络的分块循环随机坐标下降
计算机视觉与模式识别
2017-11-21 v1
摘要
我们提出一种随机一阶优化算法，称为 BCSC，其在随机块坐标下降上添加循环约束。它使用数据的不同子集来更新参数的不同子集，从而限制训练集中离群点的有害影响。在基准数据集上的实证测试表明，我们的算法在准确率与收敛速度上均优于最先进的优化方法。这些改进在不同架构间具有一致性，并且可与其他训练技术与正则化方法结合使用。
引用
@article{arxiv.1711.07190,
title = {Block-Cyclic Stochastic Coordinate Descent for Deep Neural Networks},
author = {Kensuke Nakamura and Stefano Soatto and Byung-Woo Hong},
journal= {arXiv preprint arXiv:1711.07190},
year = {2017}
}
备注
10 pages