SketchySGD：基于随机曲率估计的可靠随机优化方法

SketchySGD 通过采用对子采样 Hessian 的随机低秩近似，并引入一种在广泛凸机器学习问题上表现良好的自动化步长，改进了机器学习中现有的随机梯度方法。我们从理论上证明，采用固定步长的 SketchySGD 能够线性收敛到最优解附近的一个小球邻域。此外，在病态条件下，我们证明对于最小二乘问题，SketchySGD 比 SGD 收敛得更快。我们通过真实数据上的岭回归实验对这一改进进行了实证验证。在稠密与稀疏数据上的岭回归和逻辑回归问题的数值实验表明，配备默认超参数的 SketchySGD 能够取得与流行随机梯度方法相当或更好的结果，即便后者已调优至最佳性能。特别地，SketchySGD 能够求解一个病态逻辑回归问题，其数据矩阵存储需占用超过 $840$GB 内存，而竞争对手即便经过调优也无法取得任何进展。SketchySGD 能够开箱即用（使用默认超参数）并在病态问题上表现出色，这是相对于其他随机梯度方法的一大优势，后者大多需要谨慎的超参数调优（尤其是学习率）才能获得良好性能，并且在存在病态条件时性能下降。