基于序贯最小二乘与交替方向乘子法训练循环神经网络
机器学习
2022-10-18 v3 系统与控制
系统与控制
最优化与控制
摘要
本文提出一种从输入/输出训练数据集训练非线性动力系统循环神经网络模型的新算法。通过序贯最小二乘以及确保收敛的线搜索(LS)或Levenberg-Marquardt(LM)型信赖域方法，可处理任意凸且二次可微的损失函数与正则化项。此外，为处理如 、 和 group-Lasso 正则化器等非光滑正则化项，以及施加如整数与混合整数约束等可能非凸的约束，我们将序贯最小二乘与交替方向乘子法(ADMM)相结合。在使用线搜索(LS)时，我们将所得算法称为 NAILS（非凸 ADMM 迭代与最小二乘）；若改用信赖域方法(LM)，则称为 NAILM。该训练方法作为特例也适用于前馈神经网络，并在三个非线性系统辨识问题中进行了测试。
引用
@article{arxiv.2112.15348,
title = {Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers},
author = {Alberto Bemporad},
journal= {arXiv preprint arXiv:2112.15348},
year = {2022}
}
备注
23 pages, 4 figures. Submitted for publication