神经网络在逼近与优化中的局限性
机器学习
2023-11-22 v1 最优化与控制
机器学习
摘要
我们关注将神经网络用作代理模型以在优化问题中逼近并最小化目标函数的用途。尽管神经网络广泛用于分类与回归等机器学习任务，但其在求解优化问题中的应用仍有限。我们的研究首先确定用于逼近流行非线性优化测试问题目标函数的最佳激活函数，所提供的证据表明 SiLU 具有最佳性能。随后我们分析通过插值/回归模型与神经网络获得的此类目标函数的函数值、梯度与 Hessian 逼近的精度。与插值/回归模型相比，神经网络可提供有竞争力的零阶与一阶逼近（以高训练成本为代价），但在二阶逼近上表现不佳。然而，研究表明将神经网络激活函数与二次插值/回归的自然基结合可免去在自然基中包含交叉项的必要，从而得到待定参数更少的模型。最后，我们提供的证据表明，当使用所考虑的任一代理模型（包括神经网络）逼近目标函数的梯度时，最先进的无导数优化算法的性能几乎无法得到提升。
引用
@article{arxiv.2311.12253,
title = {The limitation of neural nets for approximation and optimization},
author = {Tommaso Giovannelli and Oumaima Sohab and Luis Nunes Vicente},
journal= {arXiv preprint arXiv:2311.12253},
year = {2023}
}