Hopfield 模型的镜像下降法
机器学习
2023-05-10 v2 最优化与控制
摘要
镜像下降是一种优雅的优化技术，它利用参数模型的对偶空间来执行梯度下降。虽然最初是为凸优化而开发的，但它已越来越多地应用于机器学习领域。在本研究中，我们提出了一种利用镜像下降来初始化神经网络参数的新方法。具体而言，我们证明通过使用Hopfield模型作为神经网络的原型，镜像下降能够有效地训练该模型，与传统依赖随机参数初始化的梯度下降方法相比，性能显著提升。我们的发现凸显了镜像下降作为一种有前景的初始化技术，用于增强机器学习模型优化的潜力。
引用
@article{arxiv.2211.15880,
title = {Mirror descent of Hopfield model},
author = {Hyungjoon Soh and Dongyeob Kim and Juno Hwang and Junghyo Jo},
journal= {arXiv preprint arXiv:2211.15880},
year = {2023}
}
备注
3 figures