Armijo回溯问题的有效求解器

回溯是一种非精确线搜索过程，它在序列$x_0, x_0\beta, x_0\beta^2...$中选择首个满足$g(x)\leq 0$的值，定义域为$\mathbb{R}_+$，且$g(x)\leq 0$当且仅当$x\leq x^*$。该过程广泛用于带Armijo型条件的下降方向优化算法中。它既返回$(\beta x^*,x^*]$中的估计值，又对终止所需函数求值次数具有上界$\lceil \log_{\beta} \epsilon/x_0 \rceil$，其中$\epsilon$是$x^*$的下界。本文改编了若干求根方法中使用的基本括号机制，以执行非精确线搜索，从而引出一类新的非精确线搜索过程。传统用于求根的二分算法被转写为一种非常简单的方法，以至多$\lceil \log_2 \log_{\beta} \epsilon/x_0 \rceil$次函数求值完成同一非精确线搜索。一种近期提出的求根括号算法，兼具极小极大函数求值代价（如同二分算法）与超线性收敛，也被转写，对于足够光滑的函数渐近地仅需$\sim \log \log \log \epsilon/x_0$次函数求值。其他求根括号算法也可同样适配。数值实验表明，每次调用非精确搜索过程可节省50\%至80\%的时间。