非线性最小二乘的几何学及其在粗糙模型与优化中的应用

通过非线性最小二乘最小化进行参数估计是一个常见问题，具有优雅的几何解释：模型可能的参数值在数据预测空间中诱导出一个流形。最小化问题就是找到流形上最接近数据的点。我们表明，一大类模型（称为粗糙模型）的模型流形具有许多普适特征；它们以几何级数的宽度、外在曲率和参数效应曲率为特征。最小二乘问题优化中的许多常见困难都源于这种共同结构。首先，算法倾向于触及模型流形的边界，导致参数发散或变得非物理。我们引入模型图作为模型流形的扩展来补救这个问题。我们认为适当的先验可以消除边界并提高收敛速度。我们表明，典型的拟合将有许多蒸发参数。其次，裸模型参数通常不适合描述模型行为；参数空间中的成本等高线倾向于形成高原和峡谷的层级结构。从几何角度，我们将这种不便的参数化理解为极度扭曲的坐标基，并表明它在流形上诱导出大的参数效应曲率。使用基于测地运动的坐标，这些狭窄的峡谷在许多情况下被转化为单一的二次各向同性盆地。我们将修正的Gauss-Newton和Levenberg-Marquardt拟合算法解释为分别在这些自然坐标下模型流形和模型图上测地运动的Euler近似。通过向这些算法添加测地加速度调整，我们缓解了参数效应曲率带来的困难，提高了找到良好拟合的效率和成功率。