平均场 regime 下Elman型RNN的全局最优性
机器学习
2023-03-14 v1 机器学习
摘要
我们分析了Elman型循环神经网络（RNNs）及其在平均场regime下的训练。具体地，我们证明了在宽度趋于无穷的极限下，RNN的梯度下降训练动力学收敛到相应的平均场公式。我们还证明了在某些权重初始化假设下，极限无限宽度动力学的固定点是全局最优的。我们的结果建立了平均场regime下宽RNN进行特征学习的的最优性。
引用
@article{arxiv.2303.06726,
title = {Global Optimality of Elman-type RNN in the Mean-Field Regime},
author = {Andrea Agazzi and Jianfeng Lu and Sayan Mukherjee},
journal= {arXiv preprint arXiv:2303.06726},
year = {2023}
}
备注
31 pages, 2 figures