LSEMINK：一种用于对数-和-指数最小化的改进牛顿-克雷洛夫方法
最优化与控制
2023-07-12 v1
摘要
本文介绍 LSEMINK，一种面向线性模型对数-和-指数（log-sum-exp）函数最小化的有效改进牛顿-克雷洛夫算法。此类问题常见于几何规划与多项逻辑回归中。尽管对数-和-指数函数光滑且凸，标准线搜索牛顿类方法可能效率低下，因为目标函数的二次近似可能无下界。为规避此问题，LSEMINK 通过在线性模型行空间中添加位移来修正 Hessian。我们证明该位移使二次近似有下界，并且在温和假设下整体格式收敛到全局极小点。我们的收敛性证明还表明所有迭代点均位于线性模型的行空间中，当模型参数无直观含义时（机器学习中常见）这一点颇具吸引力。由于 LSEMINK 使用克雷洛夫子空间方法计算搜索方向，其仅需与线性模型进行矩阵-向量乘积，这对大规模问题至关重要。我们在图像分类与几何规划上的数值实验表明，与几何规划和自然梯度下降方法相比，LSEMINK 显著减少了求解时间并提升了可扩展性。它比标准牛顿-克雷洛夫方法具有显著更快的初始收敛速度，这在机器学习等应用中尤其具有吸引力。此外，LSEMINK 对由问题非光滑性引起的病态性更具鲁棒性。我们在 https://github.com/KelvinKan/LSEMINK 分享了我们的 MATLAB 实现。
引用
@article{arxiv.2307.04871,
title = {LSEMINK: A Modified Newton-Krylov Method for Log-Sum-Exp Minimization},
author = {Kelvin Kan and James G. Nagy and Lars Ruthotto},
journal= {arXiv preprint arXiv:2307.04871},
year = {2023}
}