一种利用单调变分不等式训练神经网络的替代方法
机器学习
2024-03-13 v4 机器学习
摘要
我们提出一种利用单调向量场训练神经网络的替代方法，该思想受 Juditsky 和 Nemirovski [Juditsky & Nemirovsky, 2019] 开创性工作的启发，其最初用于将广义线性模型（GLM）的参数估计原非凸问题转化为求解单调变分不等式（VI）的凸问题。我们的方法带来了计算高效的流程，收敛快，并在某些特殊情况下（如训练单层神经网络或微调预训练模型的最后一层）提供保证。我们的方法可用于在冻结底层的情况下更高效地微调预训练模型，这是部署许多机器学习模型（如大语言模型（LLM））的关键步骤。我们展示了其在训练全连接（FC）神经网络、图神经网络（GNN）和卷积神经网络（CNN）中的适用性，并在合成与真实网络数据预测任务上，就各项性能指标而言，展示了我们的方法相较随机梯度下降方法具有竞争性或更优的性能。
引用
@article{arxiv.2202.08876,
title = {An alternative approach to train neural networks using monotone variational inequality},
author = {Chen Xu and Xiuyuan Cheng and Yao Xie},
journal= {arXiv preprint arXiv:2202.08876},
year = {2024}
}