基于多维表面 3D 可视化和初始点灵敏度的梯度优化技术比较分析
最优化与控制
2025-05-12 v3
摘要
本研究检阅了几种著名的梯度优化技术，主要关注其计算效率和精度。在研究中，对比了最陡下降法、共轭梯度(Fletcher-Reeves 和 Polak-Ribiere 变体)、Newton-Raphson 方法、准 Newton(BFGS) 和 Levenberg-Marquardt 技术。对这些方法进行了使用 Rosenbrock 函数、Spring Force Vanderplaats 函数、Ackley 函数和 Himmelblau 函数的基准测试。我们强调初始点选择在优化优化结果中的关键作用。还需要区分局部和全局最优值，因为梯度方法可能在处理非线性和多模态性方面存在困难。我们使用 3D 表面可视化来说明优化轨迹，以增加理解。虽然梯度方法已被证明有效，但可能受到计算约束和目标函数性质的限制， necessitating 在更复杂的情况下需要使用启发式和类群方法。
引用
@article{arxiv.2409.04470,
title = {Comparative Analysis of Gradient-Based Optimization Techniques Using Multidimensional Surface 3D Visualizations and Initial Point Sensitivity},
author = {Saeed Asadi and Sonia Gharibzadeh and Hajar Kazemi Naeini and Masoud Reihanifar and Morteza Rahimi and Shiva Zangeneh and Aseel Smerat and Lazim Abdullah},
journal= {arXiv preprint arXiv:2409.04470},
year = {2025}
}
备注
25 pages