卡汉的无约束优化自动步长控制

巴兹里亚-博尔维ン（BB）梯度法是最广泛使用的线搜索梯度法之一。它通过利用前一次迭代中携带的信息来计算当前迭代的步长。最近，威廉·卡汉[卡汉, 最小化迭代的自动步长控制, 技术报告, 加州大学伯克利分校, 美国]提出了新的梯度下降（KGD）步长策略，通过有效地利用前一次迭代中的信息来迭代步长本身。在二次模型中，这种新的步长被证明等价于长 BB 步长，但尚无其效率和有效性对于一般无约束最小化的严格数学证明。本文首先通过与长 BB 步长的等价性，导出短版 KGD 步长，证明对于具有 Hessian 矩阵 $H$ 的强凸二次模型，无论是长版还是短版 KGD 步长（因此也是 BB 步长）梯度法至少以 $1-\frac{1}{{\rm cond}(H)}$ 的速率进行 R 线性收敛。对于一般无约束最小化，我们进一步提出了有效利用 KGD 步长的自适应框架；证明了全局收敛性和局部 R 线性收敛速率。数值实验在 CUTEst 集合以及实际逻辑回归问题中进行，我们将所提出的方法与各种 BB 步长方法以及其他最近提出的自适应梯度法进行比较，以展示其效率和鲁棒性。