基于算子分裂技术的神经网络训练新优化算法
机器学习
2020-03-24 v5 最优化与控制
机器学习
摘要
在以下论文中，我们提出一类适用于神经网络训练的的新型优化算法。这些算法基于针对某些关联动力系统的序列算子分裂技术。此外，我们通过数值模拟研究了这些迭代格式在合适选择底层超参数下朝向损失函数局部极小值的经验收敛速率。我们使用MNIST、MNIST-Fashion和CIFAR 10分类数据集上的准确率和损失函数结果验证了这些优化器的收敛性。
引用
@article{arxiv.1904.12952,
title = {New optimization algorithms for neural network training using operator splitting techniques},
author = {Cristian Daniel Alecsa and Titus Pinta and Imre Boros},
journal= {arXiv preprint arXiv:1904.12952},
year = {2020}
}
备注
21 pages, 6 tables, 7 figures