前馈神经网络的交替方向乘子法分析
机器学习
2020-09-08 v1 机器学习
摘要
在本工作中，我们提出一种硬件兼容的神经网络训练算法，其中使用了交替方向乘子法 (ADMM) 与迭代最小二乘法。此方法背后的动机是提出一种可扩展且可并行化的神经网络训练方法。这些特性使该算法适于硬件实现。在 HIGGS 数据集上，我们使用隐藏层大小为 28 的四层神经网络，相较 SGD 与 Adam 分别取得了 6.9% 与 6.8% 更高的准确率。同样，在 IRIS 数据集上以隐藏层大小为 8 的三层神经网络，相较 SGD 与 Adam 分别观察到 21.0% 与 2.2% 的准确率提升。而此方法避免了矩阵求逆——后者对硬件实现具挑战性。我们评估了避免矩阵求逆对 ADMM 精度的影响，并观察到可安全地将矩阵求逆替换为迭代最小二乘法且保持所需性能。此外，所实现方法的计算复杂度关于输入数据集维度与网络隐藏层大小为多项式的。
引用
@article{arxiv.2009.02825,
title = {An Analysis of Alternating Direction Method of Multipliers for Feed-forward Neural Networks},
author = {Seyedeh Niusha Alavi Foumani and Ce Guo and Wayne Luk},
journal= {arXiv preprint arXiv:2009.02825},
year = {2020}
}