Newton-Sketch 与子采样牛顿方法研究
最优化与控制
2019-06-03 v4 机器学习
机器学习
摘要
草图化（Sketching）作为一种降维技术，在统计学界备受关注。本文中，我们研究牛顿法背景下用于求解变量数与数据点均很大的有限和优化问题中的草图化。我们研究在数据空间执行降维的两种草图化形式：海森矩阵子采样（Hessian subsampling）与随机哈达玛变换（randomized Hadamard transformations）。二者各有优势，且其相对权衡尚未在优化文献中被研究。我们的研究聚焦于两种方法的实用版本，其中所得到的线性方程组在每次迭代中使用迭代求解器近似求解。通过使用共轭梯度法与随机梯度迭代的对比，揭示其优势，并给出了海森矩阵子采样方法的复杂度分析。
引用
@article{arxiv.1705.06211,
title = {An Investigation of Newton-Sketch and Subsampled Newton Methods},
author = {Albert S. Berahas and Raghu Bollapragada and Jorge Nocedal},
journal= {arXiv preprint arXiv:1705.06211},
year = {2019}
}
备注
36 pages, 22 figures