基于牛顿法并使用并行处理的卷积神经网络
机器学习
2023-04-06 v3 人工智能
摘要
卷积神经网络的训练是一个高维且非凸的优化问题。当前在无法可靠设定参数化学习率的情形下效率低下。一些以往工作引入了牛顿法来训练深度神经网络。卷积神经网络的牛顿法涉及复杂运算。在二阶方法中求 Hessian 矩阵变得非常复杂，因为我们主要对图像数据使用有限差分法。卷积神经网络的牛顿法通过使用子采样 Hessian 牛顿法来解决此问题。本文中，我们使用了完整数据，而非每次仅处理部分数据的子采样方法。此外，我们在 mini-batch 计算中使用了并行处理而非串行处理。本研究中使用并行处理所获得的结果，在时间上优于先前方法。
关键词
引用
@article{arxiv.2112.01401,
title = {Newton methods based convolution neural networks using parallel processing},
author = {Ujjwal Thakur and Anuj Sharma},
journal= {arXiv preprint arXiv:2112.01401},
year = {2023}
}