二维受限 Nelder-Mead 算法的收敛性

Nelder-Mead 算法是 1965 年发表的一种长期用于无约束优化的直接搜索方法，旨在仅使用函数值而无需任何导数信息来最小化 n 个实变量的标量值函数 f。每次 Nelder-Mead 迭代都与一个由 n+1 个顶点及其函数值定义的非退化单纯形相关联；典型的迭代通过用新点替换最差顶点来生成新的单纯形。尽管该方法被广泛使用，但理论结果一直有限：对于具有有界水平集的一维严格凸目标函数，该算法总是收敛到极小点；对于此类二维函数，单纯形的直径收敛到零，但 McKinnon 构造的例子表明该算法可能收敛到非极小点。本文考虑了受限 Nelder-Mead 算法，这是一种不允许扩展步骤的变体。在二维情况下，我们证明了对于任何非退化的起始单纯形以及任何具有正定 Hessian 矩阵和有界水平集的二阶连续可微函数，该算法总是收敛到极小点。该证明基于将该方法视为离散动力系统，并依赖于几种在无约束优化收敛证明中非标准的技术。