极值搜索对于严格凸但不强凸的标量映射是稳定的

对于严格凸但不强凸的映射，基于模型的梯度极值搜索在极值点处特征值为零，即无法指数收敛。有趣的是，基于扰动的无模型极值搜索的平均雅可比矩阵为负，意味着其（实际）收敛是指数级的，即使映射的Hessian在极值点为零。虽然这些关于梯度算法的观察并非平凡，但本文更关注牛顿型极值搜索控制(NESC)中同一现象的更非平凡研究。NESC是一种二阶方法，它校正未知映射的未知Hessian，不仅为了加速参数收敛，而且(1)使收敛速率在未知Hessian下可由用户指定，(2)对多变量映射均衡不同方向的收敛速率。先前的NESC工作仅对Hessian处处正定（因此Hessian处处可逆）的映射建立了稳定性。对于标量映射，我们建立了一个相当意外的性质：即使映射是严格凸但不强凸（即Hessian可能为零），NESC保证半全局实际渐近稳定性。虽然基于模型的牛顿算法会遇到Hessian不可逆的问题，但基于扰动的NESC令人惊讶地通过利用以下事实避免了这一挑战：基于扰动的Hessian估计的平均值总是正的，即使实际Hessian可能为零。