类比计算平方根，使用 Newton-MR 寻找临界点
最优化与控制
2019-06-13 v1 机器学习
摘要
通过了解可微损失函数（OP1）的临界点，即梯度为零的点，可以加深对解决优化问题（以下简称OP）的算法行为的理解。在此，我们通过提出并求解三个优化问题来描述寻找临界点问题的一种解决方案：1）最小化梯度的范数（OP2），2）最小化预处理更新方向与梯度之间的差异（OP3），以及3）最小化沿更新方向的梯度范数（OP4）。其结果是一种最近引入的用于优化 invex 函数的算法，Newton-MR，该算法在寻找神经网络损失曲面临界点的问题上被证明非常有效。在此推导之前，我们进行了一个类似但更简单的推导，即通过结合 Heron 方法与 Newton-Raphson 除法来计算平方根的嵌套优化算法。
引用
@article{arxiv.1906.05273,
title = {Critical Point Finding with Newton-MR by Analogy to Computing Square Roots},
author = {Charles G Frye},
journal= {arXiv preprint arXiv:1906.05273},
year = {2019}
}
备注
8 pages, 0 figures