软拟牛顿法：通过放松割线约束保证正定性

我们提出了一种新颖的算法，称为软拟牛顿法，用于存在有界噪声的优化。传统的拟牛顿算法容易受到此类扰动的影响。为了开发更稳健的拟牛顿方法，我们将Hessian更新的矩阵优化问题中的割线条件替换为其目标中的惩罚项，并推导出闭式更新公式。我们方法的一个关键特征是能够保持Hessian逆近似的正定性。此外，我们建立了软拟牛顿法的以下性质：它在特定极限下恢复BFGS方法，它平等对待正曲率和负曲率，并且它是尺度不变的。这些特性共同增强了软拟牛顿法在噪声环境中的有效性。对于强凸目标函数和使用软拟牛顿法获得的Hessian近似，我们开发了一种算法，该算法在梯度函数评估受到有界扰动的情况下，表现出对最优解邻域的线性收敛。通过数值实验，我们展示了软拟牛顿法在各种场景下优于最先进方法的性能。